JP2023007334A - Information processing systems, programs and the like - Google Patents
Information processing systems, programs and the like Download PDFInfo
- Publication number
- JP2023007334A JP2023007334A JP2021196968A JP2021196968A JP2023007334A JP 2023007334 A JP2023007334 A JP 2023007334A JP 2021196968 A JP2021196968 A JP 2021196968A JP 2021196968 A JP2021196968 A JP 2021196968A JP 2023007334 A JP2023007334 A JP 2023007334A
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- camera
- photographing
- image
- interior
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Emergency Alarm Devices (AREA)
- Time Recorders, Dirve Recorders, Access Control (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
Abstract
Description
本発明は、情報処理システム及びプログラム等に関する。 The present invention relates to an information processing system, a program, and the like.
本技術分野の背景技術として、特開2018-160135号公報(特許文献1)がある。この公報には、「車時注意喚起装置10は、自動運転車両に搭載されるシステムであり、前方車外音響取得用マイク22、後方車外音響取得用マイク23、前方カメラ24、後方カメラ25、カメラ26、前部車外音響用スピーカ31、後部車外音響用スピーカ32、第1表示器33、第2表示器34を備え、車両からの搭乗者の降車時の注意喚起を、車内または車外に報知するために用いられる。」と記載されている(要約参照)。
As a background art of this technical field, there is Japanese Patent Laying-Open No. 2018-160135 (Patent Document 1). In this publication, ``The vehicle
前記特許文献1には、例えばリア側から車室内を撮影する仕組みについて検討がなされていないなど、従来のシステムには様々な課題があった。
そこで、本発明は、例えば、リア側から車室内を撮影する仕組みなど、従来よりも優れたシステム等を提供する。
The conventional system has various problems, for example, in
Therefore, the present invention provides, for example, a system that is superior to the conventional one, such as a mechanism for photographing the interior of the vehicle from the rear side.
本発明の目的はこれに限定されず、本明細書及び図面等に開示される構成の部分から奏する効果を得ることを目的とする構成についても分割出願・補正等により権利取得する意思を有する。例えば本明細書において「~できる」「~可能である」などと記載した箇所を「~が課題である」と読み替えた課題が本明細書には開示されている。課題はそれぞれ独立したものとして記載しているものであり、各々の課題を解決するための構成についても単独で分割出願・補正等により権利取得する意思を有する。課題が明細書の記載から黙示的に把握されるものであっても、本出願人は本明細書に記載の構成の一部を補正又は分割出願にて特許請求の範囲とする意思を有する。またこれら独立の課題を組み合わせた課題を解決する構成についても開示しているものであり、権利取得する意思を有する。 The object of the present invention is not limited to this, and we have the intention to acquire rights by divisional application, amendment, etc. for the structure aiming to obtain the effect of the structure disclosed in the specification and drawings. For example, the present specification discloses a problem in which the descriptions such as "can do", "possible", etc. are replaced with "is a problem". The problems are described as independent ones, and we intend to acquire the rights for the structure for solving each problem independently by filing a divisional application, an amendment, etc. Even if the problem is implicitly grasped from the description of the specification, the applicant intends to claim part of the configuration described in this specification in an amended or divisional application. It also discloses a configuration that solves a problem that combines these independent problems, and has the intention to acquire the right.
上記課題を解決するために、例えば特許請求の範囲に記載の構成を採用する。
本願は上記課題を解決する手段を複数含んでいるが、その一例を挙げるならば、車両後方から車両前方に向かって撮影した車室内の映像データを処理することを特徴とし、例えば、車両後方から車両前方に向かって撮影した車室内の映像データと、車両後方から車両後方外部を撮影した車外の映像データと、を処理する、ことを特徴とする。
In order to solve the above problems, for example, the configurations described in the claims are adopted.
The present application includes a plurality of means for solving the above problems. One example is characterized by processing video data of the interior of the vehicle taken from the rear of the vehicle toward the front of the vehicle. It is characterized by processing image data of the inside of the vehicle photographed toward the front of the vehicle and image data of the exterior of the vehicle photographed from the rear of the vehicle.
本発明によれば、例えば、リア側から車室内を撮影する等の仕組みなど、従来よりも優れたシステム等を提供することができる。
上記した以外の課題、構成及び効果は、以下の実施例の説明により明らかにされる。
According to the present invention, it is possible to provide a system or the like that is superior to conventional systems, such as a mechanism for photographing the interior of a vehicle from the rear side, for example.
Problems, configurations, and effects other than those described above will be clarified by the following description of the embodiments.
なお、本願の発明の効果はこれに限定されず、本明細書及び図面等に開示される構成の部分から奏する効果についても開示されており、当該効果を奏する構成についても分割出願・補正等により権利取得する意思を有する。例えば本明細書において「~できる」「~可能である」などと記載した箇所などは奏する効果を明示する記載であり、また「~できる」「~可能である」などといった記載がなくとも効果を示す部分が存在する。またこのような記載がなくとも当該構成よって把握される効果が存在する。 In addition, the effect of the invention of the present application is not limited to this, and the effect exerted by the parts of the structure disclosed in the specification and drawings, etc. is also disclosed, and the structure exerting the effect is also obtained by divisional application, amendment, etc. Intend to acquire rights. For example, in this specification, the places described as "can do", "can be", etc. are descriptions that clearly show the effect, and even if there is no description such as "can be done", "can be done", etc. There are parts shown. Moreover, even without such a description, there is an effect that can be grasped by the configuration.
以下、図面を参照して本発明を実施するための形態について説明する。なお、以下に示す実施例は、本発明を提供した一つの実施例であり、以下の記載に基づいて本願発明の内容が限定して解釈されるものではない。
また、以下の説明では、車両後方から車両前方に向かって撮影した車室内の映像データと、車両後方から車両後方外部を撮影した車外の映像データと、を処理する、情報処理システムにおける、個々の構成要素について具体的に説明するが、本システムの構成要素は、それらに限定されるものではなく、個々の構成要素に関連して説明した機能を実行できるものであれば、別の構成や様態であっても構わない。
また、映像データは、静止画映像及び動画映像のいずれを構成するデータであってもよいが、動画映像とすると特によい。以下の説明における「映像」なる用語は、人の目で見る静止画映像(静止画画像ともいう。)又は動画映像(動画画像ともいう。)とするとよいが、技術内容と整合する限り「映像データ」、「画像」、「画像情報」と読み替えることも可能である。
EMBODIMENT OF THE INVENTION Hereinafter, the form for implementing this invention is demonstrated with reference to drawings. It should be noted that the embodiment shown below is one embodiment that provides the present invention, and the content of the present invention should not be construed as being limited based on the following description.
Further, in the following description, an information processing system for processing image data of the interior of the vehicle captured from the rear of the vehicle toward the front of the vehicle and image data of the exterior of the vehicle captured from the rear of the vehicle to the outside of the vehicle will be described. Although the components will be specifically described, the components of this system are not limited to them, and other configurations and modes can be used as long as they can perform the functions described in relation to the individual components. It doesn't matter if it is.
Further, the video data may be data constituting either a still image or a moving image, but moving image data is particularly preferable. The term "image" in the following description should be a still image image (also referred to as a still image image) or a moving image image (also referred to as a moving image image) seen by the human eye. Data", "image", and "image information" can also be read.
図1は、本実施の形態の車両10内の撮影機器101R及び車室内撮影用リアカメラ102の設置位置及び撮影方向を説明する説明図の例である。
図1(a)は車両10の側面図であり、図1(b)は車両10の上面図である。
FIG. 1 is an example of an explanatory diagram for explaining the installation positions and shooting directions of an
1(a) is a side view of the
図1(a)及び図1(b)に示すように、車両10は車室の後方に撮影機器101Rを有している。撮影機器101Rは撮影機能を有する電子機器であり、防犯や監視或いはその他のセンシング目的で設けられたカメラ等であってもよいが、ドライブレコーダと協働するリアカメラとするとよく、もっともよいのはドライブレコーダそのものである。
As shown in FIGS. 1(a) and 1(b), the
図1の例では撮影機器101Rには、車両10の後方から車内を撮影する車室内撮影用リアカメラ102が車両の左右方向に並んで取付られた様子が図示されている。車室内撮影用リアカメラ102は、車両10における後方側に取り付けられ、例えば、車両10の前後方向で見て少なくとも車両10の車室内において、前後方向における中心よりも後方側に取り付けられるとよい。車両10の車両室内の後方側は、特には後部座席のヘッドレストや背もたれの位置からリアガラスの間の範囲に、配置されていると有利であり、リアガラスに取り付ける位置とすると特によい。しかしながら、撮影機器101Rへの車室内撮影用リアカメラ102の取付方法はこれに限定されるものではない。撮影機器101R及び車室内撮影用リアカメラ102は、後述する様々な様態で取付可能である。例えば、車室内撮影用リアカメラ102及び撮影機器101Rを結合する取付具によって接続する構成とするとよい。
In the example of FIG. 1, a photographing
図1の例では撮影機器101Rと車室内撮影用リアカメラ102は直接隣接して図示されているが、取付具を介して接続する構造としてもよく、このとき撮影機器101Rと車室内撮影用リアカメラ102の間から、例えばL字のケーブルで、撮影機器101Rと車室内撮影用リアカメラ102の両方のケーブルを引き出し、1本のケーブルに統合した後、電源等に接続する既存のラインと接続すると、配線が目立つことなく車室内の美観を損なわずに車室内撮影用リアカメラ102を追加することができる。
また同様に、車内に更にフロント側の撮影機器が存在し、リア側の撮影機器101Rとフロント側の撮影機器の間に、電源及びデータを通信するためのケーブル接続が存在する構成でも、空間から引き出した両方のケーブルを統合し、フロント側の撮影機器との接続ケーブルに接続することも可能である。
In the example of FIG. 1, the photographing
Similarly, even in a configuration in which there is further a front-side imaging device in the vehicle and a cable connection for communicating power supply and data between the rear-
リア後方とリア車内の2カメラを一体化してもよい。このような構成であると、撮影機器101Rと車室内撮影用リアカメラ102を一体として取り扱うことができ、ユーザにとって取り付けが容易などの便利さがあるメリットがある。例えば、リア車内のレンズをリア後方のレンズより上にくるようにするとよい(例:カメラ縦配置)。特にリア後方のレンズによってリアウインドウ越しに後方を撮影できる位置に設置した際に、リア車内のレンズはその背面側がリアウインドウ上部のガラスでない部分、特にリアウインドウ越しに後方を撮影できない部分に当たる位置に設置する取付具によって取り付ける構成とするとよい。
また、そのような構成では撮影機器101Rと車室内撮影用リアカメラ102は、更に、例えば設計及び製造段階でそれぞれの撮影画像の中心軸を予め一致させる構成とするとよく、このようにすれば、それぞれのカメラからの映像の比較等の処理を容易に行うことができる。
撮影機器101Rと車室内撮影用リアカメラ102が縦に配置されて一体化された構成であって、両者の中心軸を予め一致した構成とすることで、ユーザは、カメラ縦配置の一体化構成のカメラを1つ配置するだけで、互いに中心が揃った状態の車室内の画像及び車両後方の車両外部の画像を獲得することができる。
It is also possible to integrate two cameras, one behind the rear and one inside the rear vehicle. With such a configuration, the photographing
Further, in such a configuration, the photographing
The photographing
2カメラ一体型の別の実施例では、車内撮影用の車室内撮影用リアカメラ102を上下方向に回転させて、撮影方向の上下角度を変える構造としてもよい。更に、車内撮影用の車室内撮影用リアカメラ102を左右方向に回転させて、撮影方向を上下左右に角度を変えられる構造とすると、所望の撮影方向をより広い範囲で設定することができる。
さらに、ユーザが、自身のユーザ端末や、車両に備え付けられたユーザ端末、リモコン等を用いて、ユーザ端末のディスプレイ等で映像を確認しながら、車内撮影用の車室内撮影用リアカメラ102の撮影方向の角度調整を行う構成としてもよい。
In another embodiment of the two-camera integrated type, the vehicle interior photography
Furthermore, the user uses his/her own user terminal, a user terminal installed in the vehicle, a remote control, etc., and while confirming the image on the display of the user terminal, etc., the vehicle interior photographing
別の実施例では、撮影機器101Rと車室内撮影用リアカメラ102が1つの広角カメラによって構成されていてもよく、この構成で撮影される映像には、後方から前方に向かって車室内及び車両後方の双方が映されているとよい。そのような実施例については図7でより詳細に説明する。
In another embodiment, the photographing
別の実施例では、撮影機器101R及び車室内撮影用リアカメラ102を物理的に独立した2つのリア側カメラとする構成(例えば、それぞれ別個の筐体とする構成)とし、車両10のリア側の異なる位置に取り付けられる構成としてもよい。特に、2つのリア側カメラは、車両の車室内の両サイド寄りに取り付けられるよく、特に、その一方が車両10の後方側の一方のピラーの位置に取り付けられ、他方が車両10の後方側の他方のピラーの位置に取り付けられるとよい。ピラーの位置は、ピラーの車室側の部位とするとよい。このようにすると、車両10の乗員の視界に入りにくく、また、車両10の後方車両の運転手等の乗員の視界に入りにくくすることができる。
In another embodiment, the photographing
いずれの実施例においても、撮影機器101Rと車室内撮影用リアカメラ102を用いることで、後方から前方に向かって車室内を撮影した映像及び車両後方の映像の双方、を記録する構成とすることが有利である。また、車両側方の外部や車両後方の遠方外部の映像も記録する構成とするとよい。
In any embodiment, by using the photographing
以上、撮影機器101R及び車室内撮影用リアカメラ102の配置や撮影方向等の例について説明した。以下では、撮影機器101R及び車室内撮影用リアカメラ102の機能や役割等の例について説明する。
Examples of the arrangement of the photographing
車室内撮影用リアカメラ102は、ISP(Image Signal Processor)による処理や圧縮処理を実行する車両後方に設置された撮影機器101Rに接続している。この撮影機器101Rをメインユニットとして使用することは、車両前方、例えばフロントガラスに取り付けられたフロント前方撮影カメラをメインユニットとする構成と比べて、格段に有利である。フロント前方撮影カメラは、車両10のフロント側に設置され、車両10の前方を撮影するカメラである。
フロント前方撮影カメラは、その取り付け位置の関係で、太陽光による直射及びそれによる熱の影響を受けやすかった。一方、フロント前方撮影カメラは、フロントガラス等に設置されるため、車両前方に視界が開けていなければならないという機能面での制限から、有効な遮光措置を採用することが困難であった。
The vehicle interior photographing
Due to its mounting position, the front camera is susceptible to direct sunlight and heat. On the other hand, since the front camera is installed on the windshield or the like, it is difficult to adopt effective light shielding measures due to the functional limitation that the field of view must be open in front of the vehicle.
これに対し、車両のリアガラスに取り付けられたリア後方撮影カメラは、フロント前方撮影カメラに比べて、その取り付け位置での太陽光による直射及びそれによる熱の影響を低減させやすいという効果がある。また、フロントガラスに比べ、リアガラスはある程度の遮光加工を施してもよく、さらに太陽光による直射や熱の影響を低減することができる。 On the other hand, the rear camera mounted on the rear glass of the vehicle has the effect of reducing the influence of direct sunlight and the resulting heat at its mounting position, compared to the front camera. In addition, compared to the front windshield, the rear windshield may be subjected to light shielding processing to some extent, and furthermore, it is possible to reduce the effects of direct sunlight and heat.
またミニバンのように、多くの車ではリアガラスはフロントガラスよりも垂直に近い。そのため、フロントガラス位置よりもリアガラス位置のほうがドライブレコーダに直射日光(特に太陽の位置が高くなり暑くなる時間帯の直射日光)が入射しにくいというメリットもある。リア後方撮影カメラは、車両10のリア側に設置され、車両10の後方を撮影するカメラである。
太陽光の直射や熱の影響の少ないリア後方撮影カメラをメインユニットとし、このリア後方撮影カメラが、増設した車室内撮影用カメラの映像やフロント前方撮影カメラの映像を処理し、記録する構成とすることで、システム全体が故障しにくくなり、又熱による誤動作を低減することが可能となる。
Also, like minivans, in many cars the rear glass is more vertical than the windshield. Therefore, there is also the advantage that direct sunlight (especially direct sunlight during times when the sun is high and hot) is less likely to enter the drive recorder at the rear glass position than at the front glass position. The rear rear photographing camera is a camera that is installed on the rear side of the
The main unit is a rear-facing camera that is less affected by direct sunlight and heat, and this rear-facing camera processes and records images from an additional interior camera and a front-facing camera. As a result, the entire system is less likely to fail, and malfunctions due to heat can be reduced.
図1に示すような車室内撮影用リアカメラ102を用いることで、以下のような撮影が可能となる。
車室内撮影用リアカメラ102は、車内を後ろから撮影することで、人の顔を撮影せずプライバシーを守りながら行動を撮影し、解析し、検知する構成とするとよい。
車室内撮影用リアカメラ102は、車内の後方からサイドの窓ガラス越しに車両外部を撮影して車両周辺の様子を検知する構成とするとよい。
車室内撮影用リアカメラ102は、車両天井に設置されているものの状態を検出する構成とするとよい。
車室内撮影用リアカメラ102は、荷台や座席上等の荷物を検出する構成とするとよい。
車室内撮影用リアカメラ102は、車両の表示部、例えば座席背面に設けられたモニタや天井に設けられたモニタ等の状態を検出する構成とするとよい。
車室内撮影用リアカメラ102は、車内、特に車両後部空間に人がいるかを検知する構成とするとよい。
車室内撮影用リアカメラ102は、車内の人の有無に基づき駐車状態を検知する構成とするとよい。
これらの点については、図4との関連でより詳細に説明する。
By using the vehicle interior photographing
The vehicle interior photographing
The vehicle interior photographing
The vehicle interior photographing
The vehicle interior photographing
The vehicle interior photographing
The vehicle interior photographing
The vehicle interior photographing
These points are discussed in more detail in connection with FIG.
乳児専用タイプや後ろ向きに取り付けタイプのチャイルドシートを利用している状態では、従来のフロント側の車室カメラでは、前方座席の死角となり、チャイルドシート内の乳児の状態を確認することは非常に困難であった。しかしながら、リア側からの車室を撮影する車室内撮影用リアカメラ102は、そのようなチャイルドシート内の乳児の状態も非常に良好に撮影することが可能である。それどころか、上述のように車室内撮影用リアカメラ102の撮影映像を例えば手元の端末確認しながら撮影方向を調整することで、車室内撮影用リアカメラ102の撮影映像の中心に、乳児を置くことさえ可能である。
それにより車室内撮影用リアカメラ102からの映像に基づき、撮影機器101Rの制御部303が、チャイルドシート内の乳児を良好に識別し、置き去りの発生等を確実に検出することができる。このような置き去りの検出及びその警告は、後述する人検知センサを備えた構成により更に確実に実行できる。
When using an infant-only type or rearward-facing child seat, the conventional front-side vehicle interior camera becomes a blind spot in the front seat, making it extremely difficult to check the condition of the infant in the child seat. rice field. However, the vehicle interior photographing
As a result, the control unit 303 of the photographing
また、車室内撮影用リアカメラ102の映像を、その他のカメラの映像と組み合わせて、リア後方・リア車内の左右側映像・フロント車内の左右側映像・フロント前方の映像をつなげて、車の周りをぐるっと回せる(例えば一周回る)映像を生成する機能をドライブレコーダに備えるとよい。あるいは、これらの映像を記録した記録媒体のデータを再生するパソコン用あるいはスマホ、タブレット等の情報処理装置用のビュアープログラムとするとよい。リア車内の映像とフロント車内の映像から車内をぐるっと回せる(例えば一周回る)映像を生成する機能を備えるとよい。
例えば、リア後方カメラである撮影機器101R及び車室内撮影用リアカメラ102がそれぞれ180°の撮影範囲をカバーしている構成では、更に、撮影機器101Rが撮影した後方からの急接近、後方煽り、及び、車室内撮影用リアカメラ102が車室の窓ガラス越しに撮影した、側方煽り、危険な追い抜き、を途切れなく連続的に記録する構成とするとよい。
In addition, the image of the
For example, in a configuration in which the photographing
車室内撮影用リアカメラ102により撮影された映像では、車両のリア側から車内が見えることに加えて、運転席と助手席も映る画角・設置位置等の構成とするとよく、このようにすれば、横からの幅寄せ煽り運転や、車から降りてきて威嚇したり暴行を加えたりする行為を録画することも可能である。このような状況においては、録画を開始したことが知られると状況が悪化する恐れがあるため、そのような状況の発生を判定した場合、自動で録画が開始されるか、ユーザが自身で録画を開始したことが簡単に知られないように、微弱リモコンやIRリモコン等でイベント録画する構成であると有利である。
In the image captured by the
車室内撮影用リアカメラ102は、車両後方(リア側)から車室内を撮影するものであるので、車両前方(フロント側)から車室を撮影する従来の車室内カメラと比べて、運転席、助手席、及びその他の車席に乗る人を正面から撮影する機会が著しく減少する。それにより、車内の人のプライバシー保護が可能となる。これは、タクシーやバス等での利用において特に有利である。
The vehicle interior photographing
置き去りの高精度の検知、他車両による危険運転のシームレスな記録、プライバシーの保護等の効果は、例えば360°カメラ等の広角カメラをリアに取り付けることでも実現できる。
例えば、後方車両がリアから接近し、車線変更し、仮に幅寄せされた状況でも、360°カメラを用いて、状況変化を切れ目なく録画する構成とするとよい。
また、通常360°カメラでは視野角が大きく画像が小さいが、車室内に合わせた視野角(運転席、助手席の外が見える)にしてなるべく画角を広く設定した構成とするとよい。
Effects such as high-precision detection of abandoned vehicles, seamless recording of dangerous driving by other vehicles, protection of privacy, etc. can also be realized by attaching a wide-angle camera such as a 360° camera to the rear.
For example, even if a vehicle behind the vehicle approaches from the rear, changes lanes, and pulls into the side of the vehicle, a 360° camera may be used to seamlessly record the situation change.
In addition, a 360° camera usually has a large viewing angle and a small image, but it is preferable to set the viewing angle as wide as possible by adjusting the viewing angle to match the interior of the vehicle (the outside of the driver's seat and the passenger's seat can be seen).
例えば、フロント側のドライブレコーダの近傍に取り付けられた、従来のフロント側車室カメラでは、フロントミラーが不必要に画面の広範囲を占めてしまう問題があり、広角、超広角の撮影範囲を有する車室内カメラを利用することが避けられる場合があった。
上記の実施例では、車室内の映像データを取得する車室内撮影用リアカメラ102と、車外の映像データを取得する撮影機器101Rを、撮影目的等に応じて、それぞれ別々に且つより柔軟に設計することが可能である。
For example, in the conventional front-side vehicle interior camera installed near the front-side drive recorder, there is a problem that the front-mirror unnecessarily occupies a wide area of the screen. In some cases, the use of indoor cameras could be avoided.
In the above embodiment, the
車室内撮影用リアカメラ102は、更に、車内後方から前方左右の映像も窓越しに取得する構成とするとよい。撮影機器101Rは、それらの映像を他のカメラの映像と組み合わせた処理を実行する構成とするとよい。例えば、後方車両の危険な接近及び追い抜きの際には、後部座席同乗者の目線での映像に基づき、リア側から後方を撮影する撮影機器101Rの映像と組み合わせて、従来よりも多角的に危険度の判定を実行することが可能となる。
特に、車両外部で車両の左右に取り付けられた車外監視用のカメラとは異なり、車室内撮影用リアカメラ102は、例えば側方から煽りの様子と、その際の車室内の様子を共に撮影することが可能である。
The vehicle interior photographing
In particular, unlike the cameras for monitoring the outside of the vehicle mounted on the left and right sides of the vehicle outside the vehicle, the
図1のユーザ端末103は、例えば、スマートフォン、タブレット、携帯電話機、携帯情報端末(PDA)などの携帯端末(モバイル端末)でもよいし、メガネ型や腕時計型、着衣型などのウェアラブル端末でもよい。また、据置型または携帯型のコンピュータや、クラウドやネットワーク上に配置されるサーバでもよい。また、機能としてはVR(仮想現実:Virtual Reality)端末、AR(拡張現実:Augmented Reality)端末、MR(複合現実:Mixed Reality)端末でもよい。あるいは、これらの複数の端末の組合せであってもよい。例えば、1台のスマートフォンと1台のウェアラブル端末との組合せが論理的に一つの端末として機能し得る。またこれら以外の情報処理端末であってもよい。
The
ユーザ端末103は、それぞれオペレーティングシステムやアプリケーション、プログラムなどを実行するプロセッサと、RAM(Random Access Memory)等の主記憶装置と、ICカードやハードディスクドライブ、SSD(Solid State Drive)、フラッシュメモリ等の補助記憶装置と、ネットワークカードや無線通信モジュール、モバイル通信モジュール等の通信制御部と、タッチパネルやキーボード、マウス、音声入力、カメラ部の撮像による動き検知による入力などの入力装置と、モニタやディスプレイ、スピーカ等の出力装置と、を備える。なお、出力装置は、外部のモニタやディスプレイ、スピーカ、プリンタ、機器などに、出力するための情報を送信する装置や端子であってもよい。
The
図1において、車室内撮影用リアカメラ102は、車室の後方の撮影機器101Rと電気的に接続しており、車両後方にて、車両後方から車両前方に向かって撮影した映像データを撮影機器101Rへ伝送する。撮影機器101R及び車室内撮影用リアカメラ102は更に、前方の撮影機器101Fや前方の車室カメラと接続されていてもよい。
In FIG. 1, the vehicle interior photographing
そのような構成では、車室内撮影用リアカメラ102が、更に、前方及び後方の撮影機器101F、101Rとは、異なるアスペクト比を有する構成とするとよい。
例えば、前方及び後方の撮影機器101F、101Rは、横配置(カメラ用語でいう横位置)で映像を撮影し、車室内撮影用リアカメラ102は縦配置(カメラ用語でいう縦位置)で映像を撮影するとよい。つまり、車室内撮影用リアカメラ102は、映像の長手方向が当該映像の縦方向(つまり、天地方向)になり、短手方向が天地方向に直交する方向になるように、画像を撮影する構成とするとよい。例えば、車室内撮影用リアカメラ102はリア左右方向のセンターから車内を撮影する構成とするとよい。
In such a configuration, the vehicle interior photographing
For example, the front and
一方、リア車外、フロント車外、フロント車内は、横配置の構成とするとよい。つまり、リア車外、フロント車外、フロント車内を撮影するカメラは、映像の長手方向が当該映像の横方向になるように、映像を撮影する。
車室内撮影用リアカメラ102は、普通車であれば4:3、バンなど車室が前後に長い車であれば16:9のイメージセンサを使用して、縦配置で映像を撮影する構成とするとよい。
フロントから車内を撮影するフロント車内撮影カメラを縦配置にしてもよい。ただしリアから車内を撮影するカメラはセンターに取り付けやすいのでなおよい。センターに取り付けることで、7人乗りなどの車でセンターの通路部分を介して前方まで広い範囲を撮影する構成とするとよい。
On the other hand, the rear exterior, the front exterior, and the front interior may be laterally arranged. That is, the cameras that capture the rear exterior, the front exterior, and the front interior capture images so that the longitudinal direction of the image is aligned with the horizontal direction of the image.
The
A front camera for photographing the interior of the vehicle from the front may be arranged vertically. However, the camera that shoots the inside of the car from the rear is easy to install in the center, so it's even better. By installing it in the center, it is preferable to configure a wide range to the front through the center aisle in a vehicle such as a seven-passenger vehicle.
フロント側及びリア側の双方に車内カメラが取り付けられている構成では、フロント側の車内カメラは、更に、リア側の車内カメラよりも鮮明でない映像を記録する構成とするとよい。それによりプライバシーが保護されるとともに、記録をみて車内の状態をより把握しやすくなる。
これは例えば、
・フロント車内撮影カメラより、車室内撮影用リアカメラのほうが解像度が高いカメラとしたこと(ピクセル数が多い)、
・フロント車内撮影カメラは熱画像カメラとし、車室内撮影用リアカメラは可視光カメラとしたこと、
・フロント車内撮影カメラは白黒映像のカメラ(赤外カメラ)とし、車室内撮影用リアカメラは可視光カメラとしたこと
などの措置を採用することによって、実現する構成とするとよい。
また、車内カメラは、車内の音声を記録する(録音ともいう。)構成とするとよい。
In a configuration in which both front and rear in-vehicle cameras are mounted, the front in-vehicle camera may be configured to record less clear images than the rear-side in-vehicle camera. This protects privacy and makes it easier to understand the conditions inside the vehicle by looking at the records.
This is for example
・The rear camera for shooting inside the vehicle has a higher resolution than the front camera for shooting inside the vehicle (the number of pixels is larger),
・The front interior camera is a thermal image camera, and the rear camera for interior photography is a visible light camera.
・It is recommended to use a black-and-white image camera (infrared camera) for the front camera for photographing the interior of the vehicle, and a visible light camera for the rear camera for photographing the interior of the vehicle.
Also, the in-vehicle camera may be configured to record (also referred to as recording) the voice inside the vehicle.
車両の前方に取り付けられ車室内を前方から後方に向かって撮影する車室内撮影カメラの映像の場合、ルームミラーによって画角の一部が死角となっているので、運転手席や助手席の後に積み上げられた荷物などの状態を確認することは不可能或いは非常に困難であった。
車室内撮影用リアカメラ102は、車両の車室を後方から前方に向かって撮影するものであるので、運転手席や助手席の後等の従来のフロント車内撮影カメラやルームミラーでは死角となる車室領域をカバーした撮影を行う構成とするとよい。
また、車室内撮影用リアカメラ102の撮影方向を車両後方へ変更できる構成とするとよい。このような実施例については図6を用いて後述する。
In the case of a camera installed in front of the vehicle that shoots the interior of the vehicle from the front to the rear, part of the angle of view is blind due to the rearview mirror, so there is no need to place the camera behind the driver's or front passenger's seat. It was impossible or extremely difficult to check the condition of the piled up luggage.
Since the vehicle interior photographing
Further, it is preferable to adopt a configuration in which the photographing direction of the vehicle interior photographing
図2は、撮影機器101F、101R、車室内撮影用リアカメラ102、ユーザ端末103、外部サーバ104、の接続図の例である。
撮影機器101F、101Rと、ユーザ端末103と、外部サーバ104とは、それぞれがネットワーク105を介して接続されている。なお、ネットワーク105は有線、無線を問わず、それぞれのユーザ端末103はネットワーク105を介して情報を送受信する構成とするとよい。ネットワーク105はインターネットに限られず、また異なるプロトコルのネットワークの組み合わせであってもよい。
FIG. 2 is an example of a connection diagram of the photographing
The
撮影機器101F、101Rは、例えば車両に搭載され、運転中等の映像を記録(録画ともいう。)する機器である。
但し、搭載対象の車両は本実施例では四輪の自動車であるが、四輪自動車に限定されるものではなく、撮影機器101F、101Rを設置することが可能な車両であればよい。例えば、バス、トラック等の四輪以上の大型輸送車、自動二輪車や自転車等の二輪車、その他の車両が対象となり得る。また例えば、電車、モノレール、リニアモーターカー等の交通機関の乗り物も搭載の対象となり得る。
撮影機器101F、101Rは、取得した各種情報や後述のイベント判定の結果に関する情報等をネットワーク105経由でユーザ端末103に送信する構成とするとよい。
The
However, although the vehicle to be mounted is a four-wheeled vehicle in this embodiment, it is not limited to a four-wheeled vehicle, and any vehicle in which the photographing
The
ユーザ端末103は、例えば自動車を運転するユーザが使用する端末である。ユーザ端末103は、モバイルデータ通信網や自動車のWi-Fi(登録商標)等の車載ネットワークにより撮影機器101F、101Rと接続され、撮影機器101F、101Rを操作する構成とするとよい。
また、ユーザ端末103は、これらのネットワーク105経由で外部サーバ104と接続され、外部サーバ104に各種情報を送信する構成とするとよい。
The
Also, the
図3は、車室内撮影用リアカメラ102と接続した撮影機器101Rのハードウェア構成の例である。
撮影機器コントローラ304(DVRコントローラ304)は、特には車両直後を含む主に車両外部の後方映像を撮影するカメラ302、加速度センサ305、SDカード306、GNSSセンサ307、入出力部315、図示しないその他センサ等と接続されており、これらを制御する。また、これらの要素から受信した情報に基づいて、撮影機器コントローラ304が、撮影機器コントローラ304の状態を示すステータス情報を生成する。また、撮影機器コントローラ304は生成したステータス情報をマイコン301に送信する。
撮影機器コントローラ304は、入出力部315を介して、カメラ302とは異なる、後方から前方に向かって車内を撮影する車室内撮影用リアカメラ102と接続されている。
FIG. 3 is an example of the hardware configuration of the photographing
A camera 302, an
The photographing
マイコン301は、例えば以下の各種処理を行う。
・通信処理部314を制御する。
・通信処理部314が取得した位置情報を撮影機器コントローラ304に通知する。
・撮影機器コントローラ304から取得したステータス情報や、通信処理部314から取得した位置情報を例えば16byteのデータに変換する。
・二次電池駆動時にスリープ制御を行う。
・製造、試験時のテストモードを実行する。
マイコン301はプログラム可能であり、マイコン301には上記のような各種処理を実行するためのプログラムが記憶されており、このプログラムをマイコン301の処理部が実行することで、上記の各種処理を実現する。本実施例においては、このマイコン301の処理部やマイコン301自体を制御部と呼ぶこともある。
The
• Control the
- Notifies the
- Convert status information acquired from the
・Sleep control is performed when the secondary battery is driven.
• Execute the test mode during manufacturing and testing.
The
なお、撮影機器コントローラ304、マイコン301、通信処理部314は、それぞれSoC(System on a chip)等の集積回路(チップ)で実装することが可能であり、またこれらの複数をまとめて一つのチップに実装する構成であってもよい。特に、本実施例では撮影機器コントローラ304及びマイコン301が連携して動作するため、これらを合わせて1つのチップで実装してもよい。
Note that the photographing
また、撮影機器コントローラ304の一部の機能をマイコン301が実行する構成としてもよいし、マイコン301の一部の機能を撮影機器コントローラ304が実行する構成としてもよい。本実施例においては、撮影機器コントローラ304とマイコン301をあわせて制御部303と呼ぶ。制御部303は1つのチップであってもよいし、撮影機器コントローラ304とマイコン301の機能を分けた複数のチップからなる構成であってもよい。
Alternatively, the
なお、カメラ302のイメージセンサに前処理を行うAI処理機能を搭載することで、通常の撮影画像の生成と共に、又はそれに変えて、例えば以下の出力を行う構成とするとよい。AI処理機能は、これらのカメラで撮影した映像に基づいて画像認識を行う機能を有する。
・画像の中から対象物をメタデータで出力する。
・ISP(Image Signal Processor)出力形式の例えばYUVやRGBの画像を出力する。
・特定領域のみ切り出した画像を出力する。
上記のAI処理機能は、車室内撮影用リアカメラ102から伝送された映像データに対しても同様の処理を実行する構成とするとよい。
By installing an AI processing function that performs pre-processing in the image sensor of the camera 302, the following output, for example, may be performed along with or instead of generating a normal captured image. The AI processing function has a function of performing image recognition based on the images captured by these cameras.
・Output the object in the image as metadata.
- Output an ISP (Image Signal Processor) output format, such as a YUV or RGB image.
・Output an image that is cut out only in a specific area.
The AI processing function described above may be configured to perform similar processing on video data transmitted from the
このようにイメージセンサ側で前処理を行うことで、データ量の削減や、高速AI処理による対象物のリアルタイムトラッキングが可能となる。
例えば、撮影機器101Rが、カメラ302のイメージセンサに前処理を行うAI処理機能を搭載している場合では、撮影機器101Rが独自に映像処理や画像処理を実行し、撮影機器101Rが、理想的な画質の画像情報を作成する構成とするとよい。
同様の処理は、車室内撮影用リアカメラ102から伝送された映像データに対しても実行可能であり、撮影機器101Rの更新により、接続する車室内撮影用リアカメラ102の機種や種類に応じた処理を追加できる構成としてもよい。
By performing pre-processing on the image sensor side in this way, it becomes possible to reduce the amount of data and real-time tracking of an object by high-speed AI processing.
For example, when the
The same processing can be performed on video data transmitted from the
加速度センサ305は、加速度を検出し加速度情報を生成する。例えば衝撃、急ハンドル、急停車等に応じて加速度の急激な変化が生じた場合に、制御部303がイベント発生を検知する。制御部303は、この加速度情報の変化を解析することで自動車等に起きた事故等の状況を推測する構成とするとよい。
SDカード306は、画像情報や、その画像情報に対応する録画情報等、各種情報を記録する記憶装置である。なお、SDカードに限られず、データを記憶できる構成であればよいが、車載のために耐振動性の高いフラッシュメモリが好ましい。
The
The
通信処理部314は、無線通信アンテナ308を介して、ネットワーク経由で、撮影機器101Rの情報をユーザ端末103に送信する。
GNSSセンサ307は集積回路等で実装された位置情報取得部を有し、GPS(Global Positioning System)等のGNSS(Global Navigation Satellite System、全球測位衛星システム)に対応したGNSSアンテナから受信した信号に基づいて、位置情報を取得する。また、位置情報取得部は、時刻情報や移動速度情報や移動方位情報を取得する構成とするとよい。
The
The
撮影機器101Rは、車両電源310に接続される電源311を有する。
電源311は、車両電源310から受信(又は受電と呼ぶこともある)した電力を撮影機器コントローラ304に供給し、また二次電池312を充電する。なお、後述の入出力部315が電力の供給も行える構成としてもよく、この場合、撮影機器101Rは、入出力部315を介して、車両電源310を受電する。
The
The
二次電池312は、例えばリチウムイオン電池、ニッケルカドミウム電池、ニッケル水素電池、鉛蓄電池等の充電可能な電池である。但し、充電式ではない一次電池であっても構わない。アクセサリ電源(ACC電源)がOFFになった場合や、事故による断線や配線が外れるなどの障害により、車両電源310から撮影機器101Rの電源311への電力の供給が途切れた場合、又は電源311が故障等して電源供給できなくなった場合に、二次電池がマイコン301や通信処理部314等へ電力を送信(又は送電や給電と呼ぶこともある)し、撮影機器101Rの少なくとも一部の機能を維持する。
The
制御部303は、撮影機器101Rのカメラ302からの画像情報を取得し、SDカード306等の記憶装置に記憶する。なお、本明細書において「記憶」は「記録」と呼ぶこともある。
The control unit 303 acquires image information from the camera 302 of the
入出力部315は、カメラ402や車室内撮影用リアカメラ102で撮影した映像データ、及び/又はSDカード306等の記憶部に記憶された映像データの入力及び/又は出力を行う。映像データの入力及び/又は出力は、基本的にはデジタル方式で行うが、これに限定されるものではない。
入出力部315は、撮影機器コントローラ304に接続されるが、その代わりにマイコン301に接続される構成としてもよい。
入出力部315は直接ネットワーク105に接続されているが、車室内撮影用リアカメラ102を介して、ネットワーク105に接続される構成であってもよい。
また、上述の通り、入出力部315は車両電源310からの電力の入出力ができる構成としてもよい。
The input/
The input/
The input/
Further, as described above, the input/
車室内撮影用リアカメラ102は、入出力部315を介して撮影機器101Rに接続された追加のカメラである。
車室内撮影用リアカメラ102は、車室内撮影用リアカメラ102が撮影した映像データを、入出力部315を介して、撮影機器101Rの撮影機器コントローラ304に送信する。
The vehicle interior photographing
The vehicle interior photographing
また、車室内撮影用リアカメラ102は、撮影機器101Rから入力された映像データをネットワーク105に出力する構成としてもよい。また、車室内撮影用リアカメラ102は、車両電源310から入力された電力を出力する構成としてもよい。
車室内撮影用リアカメラ102が映像データや電力を入出力できる構成とすることで、入出力部315を有する撮影機器101Rに、車室内撮影用リアカメラ102を接続するだけで、映像データや電力を外部にパススルーすることができ、既存の撮影機器101Rの構成を変える必要が無く新たなカメラを追加することが可能となり便利である。
In addition, the vehicle interior photographing
By configuring the
図4は、車室内撮影用リアカメラ102の画像を処理するための処理フロー400の例である。
撮影機器101Rの制御部303は、処理フロー400に従い、以下の処理を実行する。以下の説明では、撮影機器101Rの制御部303による画像処理や映像処理の具体的なアルゴリズムや設定等の説明は省略する。
FIG. 4 is an example of a
The control unit 303 of the
制御部303は、車室内撮影用リアカメラ102から、画像(例えば、静止画像や動画像等の映像データ)を取得し(S410)、解析する(S420)。
制御部303は、解析結果に基づき、後述する設定された個々の状況についての判定を行う(S430)。
制御部303は、判定結果に基づき、後述する出力を行う(S430)。
The control unit 303 acquires an image (for example, image data such as a still image or a moving image) from the
Based on the analysis result, the control unit 303 determines each set situation described later (S430).
The control unit 303 performs an output, which will be described later, based on the determination result (S430).
なお、以下の説明では、各ステップS410~S440における処理の主体が制御部303である例について説明するが、個々のステップは、例えば制御部303内の又は制御部303とデータ接続状態にある個々のモジュールが行ってもよい。
例えば、画像取得モジュールが画像取得処理ステップS410を実行し、画像解析モジュールが画像解析ステップS420を実行し、判定モジュールが判定ステップS430を実行し、出力モジュールが出力処理ステップS440を実行し、制御部303がそれぞれのモジュールと連携する構成としてもよい。
更に、個々のモジュールはハードウェア的に実装されていてもよいし、ソフトウェア的に実装されていてもよい。
In the following description, an example in which the main body of processing in steps S410 to S440 is the control unit 303 will be described. module may do.
For example, the image acquisition module executes the image acquisition processing step S410, the image analysis module executes the image analysis step S420, the determination module executes the determination step S430, the output module executes the output processing step S440, and the control unit 303 may be configured to cooperate with each module.
Furthermore, individual modules may be implemented in hardware or in software.
以下、処理フロー400に従い実行可能となる処理の具体例を説明する。
第1の例
想定されるケース
後ろから車内を撮影して人物を検出して、フィルタをかける。
入力例
人物を確認できる画像
出力例
人物に映像フィルタをかけた画像等
A specific example of the process that can be executed according to the
First example: Assumed case A person is detected by photographing the interior of the car from behind, and a filter is applied.
Input example An image that can identify a person Output example An image of a person with a video filter applied
制御部303は、リアから車室内を撮った映像に対して顔位置(***置)を認識して映像フィルタをかける機能を備えている。
制御部303は、S410で車室内撮影用リアカメラ102により撮影された画像を取得し、S420で撮影された画像を解析し、S430で人物が写っているか、写っている人物の顔が識別できるか或いは背面しか写っていないか、等を判定する。
S440では、制御部303は、写っている人物の顔を識別すると、顔の範囲に例えば動物の顔をモチーフとしたフィルタをかけた画像を作成し出力する。
The control unit 303 has a function of recognizing the face position (body position) of an image of the inside of the vehicle taken from the rear and applying an image filter.
The control unit 303 acquires an image captured by the
In S440, when the face of the person in the image is identified, the control unit 303 creates and outputs an image in which the range of the face is filtered using, for example, an animal face as a motif.
制御部303は、S440において人物の顔にフィルタをかける上記の処理に加えて、リアから車室内を撮った映像が、人物の背後から顔位置(***置)を撮影したものであると認識した場合には、猫等の動物の背面の顔(体)をフィルタとしてかぶせる処理を施した映像を作成し出力する構成とするとよい。 In addition to the above process of filtering the person's face in S440, the control unit 303 recognizes that the image of the inside of the vehicle taken from the rear is the face position (body position) taken from behind the person. In such a case, it is preferable to create and output an image that has undergone a process of covering the back face (body) of an animal such as a cat as a filter.
つまり、画像を解析し、前から撮った映像には動物の正面の顔のフィルタ、及び、後ろから撮った映像には動物の後頭部のフィルタを映像としてかぶせる処理を施す。
制御部303は、映像内の人物に対して、3Dモデルとして、(覆面のように)顔全体にかぶせ、顔の向きによって、表示位置を変化させる構成とするとよいが、そのような処理は演算負荷が高いため、前からのカメラは正面、後ろからのカメラは背面の側の絵をかぶせるような構成とすると、処理に掛かる演算負荷を格段に低下させることができる。
In other words, the image is analyzed, and the image taken from the front is overlaid with a filter of the animal's frontal face, and the image taken from the rear is overlaid with a filter of the animal's back head.
The control unit 303 may be configured to cover the entire face (like a mask) of the person in the video as a 3D model, and change the display position according to the orientation of the face. Since the load is high, if the camera from the front is overlaid with the front image, and the camera from the rear is overlaid with the rear image, the calculation load for the processing can be significantly reduced.
このケースでは、車内を後ろから撮影することで、人の顔が撮影される機会を減少させ、更に、撮影された顔の部分にフィルタをかけることで従来よりも車内の人物のプライバシーを守りながら行動を撮影、記録することができる。
更に、人物の顔等にフィルタをかけることにより、より一層車内の人物のプライバシーに配慮した映像を作成することができる。これにより例えばバスやタクシー等の利用者が感じる、自身の映像が記録されることに対する抵抗感を、低減させることができる。そのような抵抗感は、例えば車内モニタにフィルタのかかった状態の映像を表示し、乗客自身が確認できるようにすることで、より一層低減させることができる。この構成では、事件事故等で警察等の要請が認められた場合に、フィルタを外した映像を確認できるように設定することもできる。
In this case, by photographing the inside of the car from behind, the chances of people's faces being photographed are reduced, and by applying a filter to the part of the photographed face, the privacy of the person inside the car is protected more than before. Actions can be filmed and recorded.
Furthermore, by applying a filter to a person's face or the like, it is possible to create an image that gives further consideration to the privacy of the person in the vehicle. As a result, it is possible to reduce the sense of reluctance felt by users of buses, taxis, etc., to have their images recorded. Such a sense of resistance can be further reduced by, for example, displaying a filtered image on the in-vehicle monitor so that the passenger can check it. In this configuration, it is also possible to set so that the unfiltered video can be confirmed when a request from the police or the like is accepted due to an accident or the like.
第2の例
想定されるケース
車両周辺の様子を検知して、その状態に基づいて通知や警告等を行う。
入力例
車両周辺の様子を撮影した画像
出力例
車両周辺の様子についての通知や警告等
Second example: Assumed case Detecting the situation around the vehicle and issuing a notification, warning, etc. based on the situation.
Input example Image of the surroundings of the vehicle Output example Notifications, warnings, etc. about the surroundings of the vehicle
このケースでは、撮影機器101Rは、車内の後方からサイド(車両側方)の窓ガラスから外を撮影した車両周辺の様子を撮影し、記録する構成とするとよい。
制御部303は、後ろから撮影された車室内撮影用リアカメラ102の映像データを解析し、例えばサイドの車検知、人検知、障害物検知を実行する構成とするとよい。この構成では更に、車室内撮影用リアカメラ102が広角カメラであるとよく、180°カメラ、半球カメラ、天球カメラであってもよい。
例えば、予め窓ガラスの輪郭を指定することにより、制御部303は、車内の様子と車両周辺の様子(車両外部の様子)を切り分けて判定することが可能となり、状況に応じてそれぞれの部分の映像データのみを解析することにより、より低い演算負荷で状況を識別する構成とするとよい。
In this case, the photographing
The control unit 303 may be configured to analyze video data of the vehicle interior photographing
For example, by designating the outline of the window glass in advance, the control unit 303 can distinguish between the situation inside the vehicle and the situation around the vehicle (the situation outside the vehicle). By analyzing only the video data, it is preferable to adopt a configuration in which the situation can be identified with a lower computational load.
制御部303は、S410で車室内撮影用リアカメラ102により撮影された画像を取得し、S420で撮影された映像データを解析し、S430で撮影された映像データのどの部分が車内の映像であり、どの部分が車外の映像であるか、車外の映像内に他車両が写っているか、他車両による危険運転が認められるか、その他予め設定された通知や警告の対象となる状況が存在するか、等を判定する。
The control unit 303 acquires the image captured by the
予め設定された通知や警告の対象となる状況とは、例えば、
・方向指示器を出したときに、サイドに車や人、障害物がいる状況、
・車内に人がいない状態で駐車している自車両に不自然に接近する者がいる状況、
・そのような者が車内を覗き込んでいるような状況、
・エンジン始動時、徐行時、走行時等に車両の周囲に、人、特に子供が存在する、接近する或いは遊んでいるような状況、
・車両の後方や側方からの煽りを受けているような状況、
等である。
Situations that are subject to preset notifications and warnings include, for example,
・Situation where there are cars, people, or obstacles on the side when the turn signal is turned on,
・A situation in which a person unnaturally approaches a vehicle that is parked without a person in the vehicle,
・Situation where such a person is looking into the inside of the car,
・A situation where people, especially children, are present, approaching, or playing around the vehicle when the engine is started, when the vehicle is slowed down, or when the vehicle is running.
・Situation where the vehicle is being pushed from the rear or side,
etc.
S440では、制御部303は、判定された状況が発生した場合には映像や、音声により、通知や警告を出力する。また、判定されたそれぞれの状況に応じてカスタマイズされた車両周辺の様子についての通知や警告を出力してもよい。
フロントに設置された車内撮影カメラでは、前方のシート(運転席、助手席)が邪魔をして、後部座席の窓ガラスからの横の撮影が難しく、高精度の判定は困難であった。一方、本実施例のように、車両の後ろ側に設置された車室内撮影用リアカメラ102から前方を撮影する構成であると、車両サイド、前方サイドを良好に撮影することができるので、制御部303がこれらの状況を高精度で判定することが可能となる。
In S440, the control unit 303 outputs a notification or warning by video or audio when the determined situation occurs. In addition, it is also possible to output customized notifications and warnings about the situation around the vehicle according to each determined situation.
With the in-vehicle camera installed at the front, the front seats (driver's seat and front passenger's seat) interfered, making it difficult to take side shots through the rear window glass, making it difficult to make highly accurate judgments. On the other hand, as in the present embodiment, if the front is photographed from the vehicle interior photographing
例えば制御部303が、映像データを解析することにより他車両による側方煽りの存在を判定すると、制御部303は車内のスピーカから警告音あるいは「車両後方から側方煽りを受けています」等の音声を出力させる。ドライバーが車両後方からの側方煽りの発生を即座に認識する構成とすると、時間的にもまた心理的にも、ドライバーに対して余裕を与えることを可能とするため、安全運転の観点でも非常に有利である。 For example, when the control unit 303 determines the presence of side thrusting by another vehicle by analyzing the video data, the control unit 303 emits a warning sound from the speaker in the vehicle or emits a sound such as "We are receiving side thrusting from the rear of the vehicle." output sound. If the driver is configured to immediately recognize the occurrence of side thrust from the rear of the vehicle, it will be possible to give the driver more time and mentally, so it is very important from the viewpoint of safe driving. It is advantageous to
制御部303は、映像データを解析することにより、ドライバーや同乗者が車内を留守にしている間に駐車中の自車両に不審な接近者の存在を判定すると、上記の接近者や不審者についての通知や警告を、スマートフォン等のユーザ端末へ送信する構成とするとよい。特に、制御部303は、フロントの車室カメラと前方の座席(運転手席、助手席)の直線上に存在するフロントカメラの死角で、車室を覗き込むような不審者を判定する構成とするとよい。この処理は、例えば後述の第7の例と組み合わせて行ってもよい。 By analyzing the image data, the control unit 303 determines the presence of a suspicious person approaching the parked vehicle while the driver or fellow passenger is out of the vehicle. Notifications and warnings may be sent to a user terminal such as a smart phone. In particular, the control unit 303 is configured to determine a suspicious person looking into the passenger compartment from the blind spot of the front camera existing in a straight line between the front camera and the front seats (driver's seat, front passenger seat). do it. This processing may be performed in combination with, for example, the seventh example described later.
車内の後方に広角の車室内撮影用リアカメラ102を取り付けた構成では、車内の様子が記録できることに加え、両サイドの窓ガラスから車両周辺の様子も良好に記録することもできる。この構成では、前列シートが邪魔にならずに運転席/助手席/後部座席の窓の外が撮影できる。
In a configuration in which a wide-angle
第3の例
想定されるケース
車両天井に設置されているものの状態を検出して、その状態に基づいて通知や警告等を行う。
入力例
車両天井の設置物が撮影された画像
出力例
車両天井の設置物の状態についての通知や警告等
Third example Assumed case The state of an object installed on the ceiling of a vehicle is detected, and notifications, warnings, etc. are issued based on the state.
Input example: An image of an object installed on the ceiling of a vehicle
制御部303は、撮影された映像データを解析することにより、車両天井の設置物、例えば、車両の天井に設けられたルームランプ、ネット、プロジェクタ、フリップダウンモニタ等の状態を識別する構成とするとよい。
制御部303は、S410で車室内撮影用リアカメラ102により撮影された画像を取得し、S420で撮影された画像を解析し、S430で車両天井の設置物が写っているか、写っている車両天井の設置物が適切な位置や状態であるか、車両天井の設置物が乗客、特には乗客の頭部と接触していないかあるいは接触の危険はないか、等を判定する。
S440では、制御部303は、車両天井の設置物が適切な位置や状態にないこと、車両天井の設置物が乗客、特には乗客の頭部と接触している状態あるいは接触の危険がある状態であること、等を判定するとその点についての警告を出力する。
The control unit 303 may be configured to identify the state of objects installed on the ceiling of the vehicle, such as room lamps, nets, projectors, flip-down monitors, etc., installed on the ceiling of the vehicle, by analyzing captured video data. .
The control unit 303 acquires an image photographed by the vehicle interior photographing
In S440, the control unit 303 determines whether the installation object on the vehicle ceiling is not in an appropriate position or state, or the installation object on the vehicle ceiling is in contact with the passenger, particularly the head of the passenger, or is in danger of contact. and so on, a warning about that point is output.
例えば、制御部303は、映像データを解析することにより、ルームランプの点灯状態及び車内の人の有無を判定する構成とするとよい。制御部303は、ドアを締めてしばらくしてもルームランプが点灯したままであり、且つ、車内から人がいなくなっている状態であることを判定すると、車内のスピーカやドライバーが携帯しているユーザ端末等から警告を発生させる。これにより、バッテリ上がりの発生を効果的に防止することができる。 For example, the control unit 303 may be configured to determine the lighting state of the interior lamp and the presence or absence of a person in the vehicle by analyzing video data. When the control unit 303 determines that the room lamp remains lit even after a while after the door is closed and that there is no one in the vehicle, the control unit 303 detects the presence of the speaker in the vehicle and the user carried by the driver. Generate a warning from a terminal or the like. As a result, it is possible to effectively prevent the occurrence of dead battery.
別の例では、制御部303は、映像データを解析することにより、天井に設けられたネットの状態、例えば、ネットが荷物の入れ過ぎによりたわんでいないか、左右の留め具の固定等が外れていないか、等を判定する構成とするとよい。制御部303は、ネットが荷物の入れ過ぎによりたわんでいること、左右の留め具の固定等が外れていること等を判定すると、車内のスピーカ等から警告音や「ネットの状態が異常です」等の警告音声を出力する。これにより、ユーザは、ネットが破損する前に、ネットから荷物が落下する前に、或いは、ネットの固定が予期せず外れる前に、事前に最適な状態に調整することができる。 In another example, the control unit 303 analyzes the image data to determine the state of the net installed on the ceiling, for example, whether the net is bent due to overfilling, whether the left and right fasteners are loose, etc. It is preferable to adopt a configuration in which it is determined whether or not When the control unit 303 determines that the net is bent due to too much baggage, or that the left and right fasteners are unfixed, it emits a warning sound from the in-vehicle speaker or the like, saying, "The net is in an abnormal state." Outputs a warning sound such as This allows the user to pre-optimize the net before it breaks, before a load falls from the net, or before the net unexpectedly becomes unfixed.
更に別の例では、制御部303は、映像データを解析することにより、天井に設けられたプロジェクタの向きや状態、プロジェクタの映像の位置や状態、プロジェクタと後部座席の乗客の位置関係等を判定する構成とするとよい。
例えば、制御部303は、
・プロジェクタが所望の位置あるいは方向に調整されているか、
・乗客を乗せていない等の状態でプロジェクタが起動しているか又は逆に乗客を乗せている状態でプロジェクタが起動していないか、
・画像が投影されている状態で、画像とスクリーンの位置関係は適切であるか、
・乗客がプロジェクタに頭をぶつけていないか、
等を判定する構成とするとよい。
制御部303が、これらの状況の発生を判定すると、制御部303は、車内のスピーカやモニタ等から警告音や「プロジェクタの状態が異常です」等の警告音声や、警告画像を出力するとよい。
In yet another example, the control unit 303 analyzes the image data to determine the orientation and state of the projector installed on the ceiling, the position and state of the image of the projector, the positional relationship between the projector and passengers in the backseat, and the like. It should be configured to
For example, the control unit 303
- Is the projector adjusted to the desired position or orientation?
・Whether the projector is running when there are no passengers on board or, conversely, whether the projector is running when passengers are on board,
・While the image is being projected, is the positional relationship between the image and the screen appropriate?
・Is the passenger hitting his or her head on the projector?
It is good to set it as the structure which judges etc.
When the control unit 303 determines the occurrence of these situations, the control unit 303 may output a warning sound, a warning sound such as "projector status is abnormal", or a warning image from a speaker, monitor, or the like in the vehicle.
なお、この例におけるプロジェクタは、例えばタクシー等の車両のサイドの窓ガラスに配置されたスクリーンに広告等を投影する構成とするとよい。
ドライバーは、これらの警告に基づいて、プロジェクタの位置や状態、設定等を適宜修正することが可能である。例えば、乗客がいない状態ではプロジェクタを利用して車外へ向けて広告映像を確実に投射し、車内に乗客がいる状態では映像の投射を辞め乗客にとっての快適性を担保することができる。また、乗客がいない状態ではプロジェクタを利用して車外へ向けて広告映像を確実に投射し、車内に乗客がいる状態ではその乗客向けの映像の投射を行い、広告宣伝効果を高めることができる。
Note that the projector in this example may be configured to project an advertisement or the like onto a screen placed on the side window glass of a vehicle such as a taxi.
Based on these warnings, the driver can appropriately correct the position, state, settings, etc. of the projector. For example, when there are no passengers in the vehicle, the projector can be used to reliably project the advertisement image to the outside of the vehicle, and when there are passengers in the vehicle, projection of the image can be stopped to ensure the comfort of the passengers. In addition, when there are no passengers, a projector is used to reliably project the advertisement image toward the outside of the vehicle, and when there are passengers inside the vehicle, the image for the passenger is projected to enhance the advertising effect.
更に別の例では、制御部303は、映像データを解析することにより、天井に設けられたフリップダウンモニタの開閉状態や、映像が出ているか否かの起動状態等を判定する構成とするとよい。
例えば、制御部303は、
・乗客を乗せている状態でフリップダウンモニタが映像を停止していることあるいは閉状態にあること、
・逆に乗客を乗せていない状態でフリップダウンモニタが映像を再生していること或いはフリップダウンモニタが開状態であること、
等を判定する構成とするとよい。
制御部303がそれらの状況の発生を判定すると、制御部303は、車内のスピーカやモニタ等から警告音や「フリップダウンモニタの状態を確認してください」等の警告音声や警告画像を出力する。
In yet another example, the control unit 303 may analyze video data to determine the opening/closing state of a flip-down monitor provided on the ceiling, the activation state of whether or not the video is displayed, and the like.
For example, the control unit 303
・The flip-down monitor is in the closed state or the image is stopped while the passenger is on board,
・Conversely, the flip-down monitor is playing back video with no passengers on board, or the flip-down monitor is open.
It is good to set it as the structure which judges etc.
When the control unit 303 determines the occurrence of these situations, the control unit 303 outputs a warning sound or a warning image such as "Please check the state of the flip-down monitor" from the in-vehicle speaker or monitor.
ドライバーは、このような警告に基づいて、フリップダウンモニタの状態、設定等を適宜修正することが可能である。これにより、例えばタクシーなどでは、乗客がいない状態ではフリップダウンモニタの映像再生を停止して電力消費を抑えつつ、車内に乗客がいる状態では広告映像等を確実に再生することができる。
また、車両リア側に設けられた車室内撮影用リアカメラ102は、フリップダウンモニタに映されている映像を良好に認識することが可能であるので、制御部303は、映像ごとに乗客がフリップダウンモニタの方向を向いていた時間の長さ等のデータを分析することにより、広告映像ごとに乗客の興味や関心の度合いを記録することができる。
また、制御部303が、そのような記録を分析した結果を、乗客がより興味をもつ傾向が高い広告映像を再生するために利用する構成や、ネットワーク105を介して、広告映像を提供する企業の外部サーバ104へ分析結果を送信する構成とすることもできる。
Based on such warnings, the driver can modify the status, settings, etc. of the flip-down monitor accordingly. As a result, for example, in a taxi or the like, it is possible to suppress power consumption by stopping image reproduction on the flip-down monitor when there are no passengers, and to reliably reproduce advertisement images or the like when there are passengers in the taxi.
In addition, since the
In addition, the control unit 303 uses the results of analyzing such records to reproduce advertisement images that are more likely to be of interest to passengers, and a company that provides advertisement images via the
第4の例
想定されるケース
荷台や座席上等の荷物の状態を検出して、その状態に基づいて通知や警告等を行う。
入力例
荷物の状態が撮影された画像
出力例
荷物の安定性についての通知や警告等
Fourth example Assumed case The state of cargo on the carrier, seat, etc. is detected, and notifications, warnings, etc. are issued based on the state.
Input example An image of the condition of the package Output example Notifications and warnings about the stability of the package
このケースでは、制御部303は、映像データを解析することにより、例えば運転手席の後ろに置かれた荷物の状態を検知する構成とするとよい。
制御部303は、S410で車室内撮影用リアカメラ102により撮影された画像を取得し、S420で撮影された画像を解析し、S430で荷台や座席上等に置かれたあるいは積まれた荷物の状態、例えば荷台や座席と荷物の位置関係、推定される荷物の重心の位置、複数の荷物の重心位置の位置関係、車両の速度や加速度及びそれらの変化に関連した荷物の位置の変化、等を判定する。荷物の重心は、例えば画面内で荷物として認識された2次元的な形状の中心点として簡易的に推定する構成とするとよいが、その他の方法で推定してもよい。
In this case, the control unit 303 may be configured to detect, for example, the state of luggage placed behind the driver's seat by analyzing video data.
The control unit 303 acquires an image photographed by the vehicle interior photographing
S440では、制御部303は、例えば、荷物が荷台や座席から落下する危険がある状態、積み上げられた荷物が崩れる危険がある状態、荷台や座席上での荷物の滑りが設定値よりも大きい状態等を判定すると、その点についての警告を出力する。制御部303は、そのような警告を、車両の運転中に出力してもよいし、車両に人が乗ってきたときに、荷物の状態を検知し、その状態に応じた報知を出力してもよい。 In S440, the control unit 303 determines, for example, a state in which there is a risk that the load may fall from the loading platform or the seat, a state in which there is a risk that the stacked loads may collapse, or a state in which the sliding of the load on the loading platform or the seat is greater than the set value. etc., a warning about that point is output. The control unit 303 may output such a warning while driving the vehicle, or detect the state of luggage when a person gets on the vehicle and output a notification according to the state. good too.
後方から撮影した車内画像では、後部座席付近に置いた荷物の状態を特に良好に撮影することができる。従って、そのような車内画像は、万が一他車両による事故等に巻き込まれた場合、荷物の破損の原因が事故を起こした他車両にあることを示す有力な証拠となり、交通事故の損害の算定を円滑且つ正確に行うことができる。特に制御部303が、荷物が車内で確実且つ安定的に置かれていたかどうかを判定する構成であると、証拠としての信頼度が向上し、更に有利である。 In the image of the inside of the vehicle taken from the rear, the state of luggage placed near the rear seat can be imaged particularly well. Therefore, in the unlikely event that you are involved in an accident caused by another vehicle, such images of the inside of the vehicle will serve as strong evidence that the damage to your luggage is caused by the other vehicle that caused the accident. It can be done smoothly and accurately. In particular, if the control unit 303 is configured to determine whether or not the luggage has been placed securely and stably in the vehicle, the reliability as evidence is improved, which is further advantageous.
更に、例えば第2のケースと組み合わせて、制御部303は、映像データを解析することにより、荷物の崩れと後方から撮影した車内の窓越しに撮影された他車両による煽りや接触の関連性を判定する構成とするとよい。
例えば、他車両による後方からの急な側方煽りに対応するためにドライバーがハンドルを切ったことにより、他車両との接触事故は回避できたものの、車両に積み込んだ荷物が崩れ、損害が発生した場合などには、車室内撮影用リアカメラの映像には、側方から急接近する他車両、それに対応するドライバーの運転、その際の他車両の運転軌道、及び、どのタイミングで荷物が崩れたか、等が1つの映像データに記録されるので、事故や発生した事象の解析に非常に有利である。
Further, for example, in combination with the second case, the control unit 303 analyzes the video data to determine the relationship between the collapsing of the luggage and the slamming or contact by another vehicle photographed through the window inside the vehicle photographed from behind. It is good to set it as the structure which determines.
For example, the driver turned the steering wheel in order to respond to another vehicle's sudden side thrust from behind. Although the collision with the other vehicle could be avoided, the cargo loaded on the vehicle collapsed, causing damage. In such a case, the image of the rear camera for shooting inside the vehicle will show the other vehicle approaching from the side, the driver's corresponding driving, the driving trajectory of the other vehicle at that time, and at what timing the luggage collapsed. Accidents and other events are recorded in one image data, which is very advantageous for analysis of accidents and events that have occurred.
従来から買ったものが崩れることが気になり事故が引き起こされるケースは頻繁に発生している。例えば、会社のお昼の弁当を買い出しに行った人が弁当を気にして見た瞬間に事故を起こしたというようなケースは、多くのドライバーにとって非常に身近で起こり得る事態である。そのため、上記の構成により、荷物が崩れそうな状態であることを検知して予め報知することで、ユーザに対して、より安全な運転状態やドライバーが運転に集中できる状態を提供することができる。 There have been frequent cases of accidents caused by worrying about the collapse of purchased items. For example, many drivers are very familiar with a situation in which a person who goes out to buy a boxed lunch for work at work is involved in an accident the moment he or she looks at the boxed lunch. Therefore, with the above configuration, it is possible to provide the user with a safer driving state and a state in which the driver can concentrate on driving by detecting and informing in advance that the luggage is about to collapse. .
また、制御部303は、映像データを解析することにより、荷物の状態と人の状態とを検知する構成としてもよい。制御部303は、例えば、荷物の状態と人の状態との関連性を検知し、その検知した結果に応じて、警告や通知等の出力をするとよい。制御部303は、例えば、荷物が人の居る方向に崩れたことを検知するとよい。制御部303は、例えば、崩れた荷物と人との距離が所定距離以下であることを検知するとよい。制御部303は、これら両方を検知すると尚良く、例えば、崩れた荷物と人との距離が所定距離以下で、かつ、荷物が人の居る方向に崩れたことを検知するとよい。制御部303は、荷物と人との位置関係に応じて警告や通知等の出力の内容を変化させるとよく、例えば、荷物が人に与える危険度合いといった、人への影響度合いが高いほど、レベルを上げた警告や通知等を出力するとよい。警告や通知等の出力先は、崩れた荷物に衝突とする可能性のある人とすると、その人に危険があることを知らせたり適切な対処を促したりことができる。 Further, the control unit 303 may be configured to detect the state of the package and the state of the person by analyzing the image data. The control unit 303 may, for example, detect the relationship between the state of the package and the state of the person, and output a warning, notification, or the like according to the detected result. The control unit 303 may detect, for example, that the package has collapsed in the direction in which the person is present. For example, the control unit 303 may detect that the distance between the collapsed package and the person is less than or equal to a predetermined distance. More preferably, the control unit 303 detects both of these, for example, it detects that the distance between the collapsed cargo and the person is less than a predetermined distance and that the cargo collapses in the direction of the person. The control unit 303 preferably changes the contents of the output such as warnings and notifications according to the positional relationship between the cargo and the person. It is preferable to output a warning or notification that raises the If the output destination of the warning, notification, etc. is set to a person who may collide with the collapsed cargo, it is possible to inform the person of the danger or urge the person to take appropriate measures.
第5の例
想定されるケース
車両の表示部の状態を検出して、その状態に基づいて通知や命令等を行う。
入力例
車両の表示部を撮影した画像
出力例
表示部の状態についての通知、表示部の状態に応じた命令等
Fifth example Assumed case The state of the display unit of the vehicle is detected, and a notification, command, or the like is issued based on the state.
Input example: An image of the vehicle's display section Output example: Notification of the display section status, commands according to the display section status, etc.
このケースでは、表示部は、車両に配置された表示部、特に座席背面に設けられたモニタ、天井に設けられたモニタ等であり、制御部303は、映像データを解析することにより、これらの状態を検出する。また、例えば、運転席と助手席の間の前方のセンター付近に設置されたモニタ(以下「センターモニタ」と称する)の表示内容や操作の有無についても良好に撮影する構成とするとよい。なお、表示部は、車両に固定的に取り付けられた表示部に限らず、車両に関する情報を表示するユーザ端末103であってもよい。
In this case, the display unit is a display unit provided in the vehicle, particularly a monitor provided on the back of the seat, a monitor provided on the ceiling, or the like. Detect condition. In addition, for example, it is preferable to adopt a configuration in which the contents displayed on a monitor installed near the center in front between the driver's seat and the front passenger seat (hereinafter referred to as "center monitor") and the presence or absence of operations are also captured satisfactorily. Note that the display unit is not limited to the display unit fixedly attached to the vehicle, and may be the
センターモニタの画面は、フロント側に設置された車内撮影カメラの位置からは死角になりやすい傾向にある。それに対し、車両後方に設けられた車室内撮影用リアカメラ102は、車両後方からのセンターモニタの画面の撮影に非常に適している。
The screen of the center monitor tends to be a blind spot from the position of the in-vehicle camera installed on the front side. On the other hand, the vehicle interior photographing
制御部303は、S410で車室内撮影用リアカメラ102により撮影された画像を取得し、S420で撮影された画像を解析し、S430で車両の表示部の状態、特に座席背面に設けられたモニタ、天井に設けられたモニタの状態、センターモニタの表示内容や操作の有無、車両後部座席の乗客の有無、等を判定する。
In S410, the control unit 303 acquires an image captured by the
S440では、制御部303が例えば車両後部座席に乗客がいない状態で座席背面に設けられたモニタが映像を再生していること等を判定すると、制御部303は、車内のスピーカやモニタ等から警告音や「背面モニタがオンです」等の報告音声や警告画像を出力する。
また、後述の第9の例と組み合わせて、制御部303は、例えば後部座席の子供が眠っていると判定した場合、モニタの表示を一時停止或いは非表示にする命令を出力することもできる。
In S440, if the control unit 303 determines, for example, that the monitor provided on the back of the seat is reproducing an image in a state where there are no passengers in the rear seats of the vehicle, the control unit 303 outputs a warning from the speaker, monitor, etc. in the vehicle. Outputs a sound, a reporting voice such as "Rear monitor is on", and a warning image.
In addition, in combination with the ninth example described later, the control unit 303 can output a command to temporarily stop or hide the monitor display when determining that the child in the back seat is asleep, for example.
この実施例は、センターモニタが車両の操作や制御に関連する入力を受け付けるタッチパネル式ディスプレイである構成では、更に有利な効果をもたらす。制御部303は、センターモニタに人の身体の一部が重なったと判定した場合、その判定結果をトリガとして、車内映像の録画を開始する構成とするとよい。例えばタッチパネル式ディスプレイの操作(モニタ操作)の前後10秒程度映像を記録しておけば、仮に事故等に見舞われた場合でも、運転手によるモニタ操作のタイミングが、事故のタイミングとはずれていることが立証できれば、モニタ操作が事故の原因ではないということを証明することができる。 This embodiment provides further advantageous effects in a configuration in which the center monitor is a touch panel display that accepts inputs related to vehicle operation and control. When the control unit 303 determines that a part of a person's body overlaps the center monitor, the control unit 303 may use the determination result as a trigger to start recording the in-vehicle video. For example, if an image is recorded for about 10 seconds before and after the operation of the touch panel display (monitor operation), even if an accident occurs, the timing of the monitor operation by the driver will not coincide with the timing of the accident. If it can be proved, it can be proved that monitor operation is not the cause of the accident.
あるいは、ユーザは、映像が残っていないことを、少なくとも事故当時の運転中にモニタ操作と判定される行為はなかったことを証明する手段とすることができる。その場合は、制御部303が、記録映像の削除履歴等を記録する構成であるとなおよい。 Alternatively, the user can use the fact that no image remains as a means of proving at least that there was no action judged to be monitor operation during driving at the time of the accident. In that case, it is more preferable that the control unit 303 is configured to record the deletion history of the recorded video.
制御部303は、具体的な操作の内容を判定及び記録する構成とするとよい。特にセンターモニタが自動運転車両の操作コンソール等を兼ねている構成では、記録されている映像内は、映像記録時の車両が自動運転中であるか、手動運転中であるか、が画面中に示されている様子を、良好に撮影し記録する構成であるとよりよい。
そのため、ドライバーの適切な運転操作中に事故等に巻き込まれた場合、本情報処理システムの撮影機器101Rは、
・事故が端末の操作時に発生したものではないこと、
・事故が端末の誤操作によるものではないこと、
・事故が自動運転中に起きたものであるか手動運転中に起きたものであるか、
等についての、客観的証拠を提供する構成とするとよい。
なお、前後の車内カメラの映像から上記の各状態を総合的に判断する構成は、判断の精度の向上させることまた客観的証拠を増やすことができるので、更に有利である。
The control unit 303 may be configured to determine and record specific operation details. In particular, in a configuration where the center monitor also serves as an operation console for an automated driving vehicle, the recorded video shows whether the vehicle is driving automatically or manually. It is better if the configuration is such that the displayed state can be satisfactorily photographed and recorded.
Therefore, if the driver is involved in an accident during proper driving operation, the photographing
・The accident did not occur while operating the terminal,
・The accident was not caused by incorrect operation of the terminal,
・Whether the accident occurred during automatic driving or during manual driving,
etc., it should be configured to provide objective evidence.
The configuration for comprehensively judging each of the above states from the images of the front and rear in-vehicle cameras is more advantageous because it can improve the accuracy of the judgment and increase the objective evidence.
更に、制御部303が事故の発生を判定した場合に、その前後の映像データを外部サーバへ送信する構成とするとよい。このようにすることで、映像データの改ざんを疑う余地がなくなり、映像データの証拠能力は更に向上する。外部サーバは例えば撮影機器を製造販売した会社等の事故とは無関係な中立的な立場の組織により運営されているものであるとよりよい。 Furthermore, when the control unit 303 determines that an accident has occurred, it may be configured to transmit video data before and after that event to an external server. By doing so, there is no room for suspicion that the video data has been falsified, and the evidence of the video data is further improved. It is preferable that the external server be operated by a neutral organization that is unrelated to accidents, such as a company that manufactures and sells imaging equipment.
第6の例
想定されるケース
撮影映像に頭が映ってばかりの状態を検出して、その状態に基づいて通知や警告等を行う。
入力例
人物、特に頭部の状態が映っている画像
出力例
撮影映像に頭が映ってばかりであることの通知や警告等
Sixth example: Assumed case A state in which the head is just appearing in the captured image is detected, and a notification, warning, or the like is issued based on the state.
Input example Image showing the state of a person, especially the head
制御部303は、例えば画面の大部分が頭部であるときには、その旨を警告する。あるいは設置位置を変更するように警告する。
制御部303は、S410で車室内撮影用リアカメラ102により撮影された画像を取得し、S420で撮影された画像を解析し、S430で撮影された映像の画面内に頭部が写っているか、写っている頭部の画面内に占める割合がどの程度であるか、等を判定する、あるいは事前にそのような事態が想定される設置状態にあるか、等を判定する。
For example, when the majority of the screen is the head, the control unit 303 issues a warning to that effect. Or warn to change the installation position.
The control unit 303 acquires the image captured by the
頭部が画面内に占める割合は例えば画面全体の50%以上等に設定できる構成とするとよい。また、例えば10分等に設定した時間間隔のうち、合計5分以上の時間、頭部が画面全体の50%以上を占めている場合に、通知や警告を行うように設定してもよい。更に、車両への乗り降りの際には、頭部が画面内に占める割合が大きくなる傾向があるので、車両のドアが開いている間は、この判定を停止するように設定する構成とするとよい。 The ratio of the head to the screen may be set to, for example, 50% or more of the entire screen. Further, for example, in a time interval set to 10 minutes or the like, if the head occupies 50% or more of the entire screen for a total of 5 minutes or more, it may be set to issue a notification or warning. Furthermore, when getting in and out of a vehicle, the head tends to occupy a larger portion of the screen, so it is preferable to set this determination to stop while the vehicle door is open. .
S440では、制御部303は、頭部が写っており、写っている頭部の割合が設定値以上であることを判定すると、撮影映像内に占める頭部の割合が大きいこと、あるいは、車室内撮影用リアカメラ102がそのような事態が想定される設置状態にあること、を警告する通知を出力する。
それにより、制御部303は、ユーザに対して車室内撮影用リアカメラ102により撮影する映像の状態を所望の状態に修正するきっかけを適切なタイミングで提供することができる。
In S440, when the control unit 303 determines that the head is captured and that the percentage of the captured head is equal to or greater than the set value, the percentage of the head in the captured image is large, or A notification is output to warn that the photographing
As a result, the control unit 303 can provide the user with an opportunity to correct the state of the image captured by the vehicle interior capturing
このケースでは、車種や取り付けの場所によっては、後部座席に人が座ったとき、その人の後頭部が画面全体にずっと映っている(画面全体が真っ黒な絵)ことを回避することができる。 In this case, depending on the vehicle type and installation location, when a person sits in the back seat, the back of the person's head can be seen on the entire screen (the entire screen is black).
第7の例
想定されるケース
駐車状態を検出、その状態に基づいて撮影モードの切り替え命令等を行う。
入力例
人物が撮影された画像
出力例
駐車監視モードへの切り替え命令等
Seventh example Assumed case The parking state is detected, and based on the detected state, a shooting mode switching command is issued.
Input example An image of a person taken Output example Command to switch to parking surveillance mode
制御部303は、人物が撮影された画像から、人が車内にいるかを検知し、人が車内にいなくなったことを検知したら、自動的に駐車監視モードに切り替わる機能を備えている。
制御部303は、S410で車室内撮影用リアカメラ102により撮影された画像を取得し、S420で撮影された画像を解析し、S430で撮影された映像内に人物がいるか、車両が駐車状態であるか、等を判定する。
S440では、制御部303は、車両が駐車状態であると判定した場合、車室内撮影用リアカメラ102の撮影モードを駐車監視モードに切り替える命令を出力する。
The control unit 303 has a function of detecting whether or not a person is in the vehicle from an image in which the person is photographed, and automatically switching to a parking monitoring mode when it is detected that the person is no longer in the vehicle.
The control unit 303 acquires the image shot by the
In S440, when the control unit 303 determines that the vehicle is parked, it outputs a command to switch the imaging mode of the vehicle interior imaging
制御部303は、駐車監視モードでは、例えば車両のフロントガラス、リアガラス、サイドの窓ガラスの領域内から、不審な接近者を判別するための処理を優先的に実行し、例えば、上記の第1の例等の人物にフィルタをかける処理を停止する。
この構成は、後述の第8の置き去り検知の例と合わせることもでき、駐車監視モードの場合に、置き去り検知が起動するようにするとよい。また、例えば上記の第2の例と組み合わせて、駐車監視モードの場合に、車両周辺の状態検知を起動するようにするとよい。
In the parking monitoring mode, the control unit 303 preferentially executes processing for determining a suspicious approaching person from, for example, the areas of the vehicle's windshield, rear glass, and side window glass. Stop the process of filtering people such as .
This configuration can also be combined with the eighth example of abandoned vehicle detection described later, and it is preferable that abandoned vehicle detection is activated in the case of the parking monitoring mode. Further, for example, in combination with the above second example, in the case of the parking monitoring mode, it is preferable to activate detection of the state around the vehicle.
それにより、車両が駐車状態にある場合、制御部は、例えば車両のフロントガラス、リアガラス、サイドの窓ガラスの領域内から不審な接近者を判別するための処理に、演算能力を優先的に割り当てることができるので、ユーザは、より効率的な情報処理システムを使用することができる。 Thereby, when the vehicle is in a parked state, the control unit preferentially allocates computing power to the processing for determining a suspicious approaching person from, for example, the area of the vehicle's windshield, rear window, and side windows. This allows users to use a more efficient information processing system.
第8の例
想定されるケース
車内での人物の置き去り等の状態を検出、その状態に基づいて通知や警告等を行う。
入力例
人物が撮影された画像
出力例
置き去り等についての通知や警告等
Eighth example Assumed case A state such as a person being left behind in a vehicle is detected, and notifications, warnings, or the like are issued based on the state.
Input example: Image of a person
制御部303は、人物が撮影された画像から、車両内に例えば子供や障碍者といった人物が置き去りにされていないかを判定し、置き去りが生じた場合にはその旨を警告する構成とするとよい。この処理は上記の第7の例における処理と合わせて行うとなおよい。
制御部303は、S410で車室内撮影用リアカメラ102により撮影された画像を取得し、S420で撮影された画像を解析し、S430で撮影された映像内に人物がいるか、映像内の人物が子供や障碍者であるか、子供や障碍者以外の人物が乗車しているか、車両が駐車状態であるか、置き去りの状態であるか、等を判定する。
The control unit 303 may determine whether or not a person, such as a child or a disabled person, has been left behind in the vehicle from an image of a person, and may issue a warning to that effect if the person has been left behind. . It is more preferable to perform this processing together with the processing in the above seventh example.
The control unit 303 acquires the image captured by the
S440では、制御部303は、置き去りの状態であると判定した場合、ドライバーが携帯している端末や、車両のスピーカやモニタ等から、置き去りの状態にあることを知らせる警報や警報画像を出力する。制御部303は、置き去り経過時間や置き去りにされた人物の状態に基づいて、警告の出力先や出力方法を変更してもよい。例えば、制御部303は、最初は、ドライバーが携帯している端末のみに警告を出力し、その後、置き去りの状態が解消されなければ、ドライバーが携帯している端末及び車両のスピーカやモニタの両方に警告音声や画像を出力する構成とするとよい。
これにより、ドライバー自身が発生している置き去りに対応可能な状況では、最小限の警告のみで置き去りを解消することが可能であるし、ドライバーが自身で置き去りに対応することができない状況では、周囲に対して置き去りの状況を知らせることができる。
In S440, when the control unit 303 determines that the vehicle is in an abandoned state, it outputs an alarm or an alarm image to notify that the vehicle is in an abandoned state from the terminal carried by the driver, the speaker or monitor of the vehicle, or the like. . The control unit 303 may change the output destination and output method of the warning based on the elapsed time of abandonment and the state of the abandoned person. For example, the control unit 303 first outputs a warning only to the terminal carried by the driver, and then, if the state of being left behind is not resolved, both the terminal carried by the driver and the speaker or monitor of the vehicle are output. It is preferable to have a configuration in which a warning sound or image is output to the
As a result, in situations where the driver himself/herself is able to deal with the situation of being left behind, it is possible to resolve the situation with a minimum of warnings. You can inform the situation of abandonment to
この構成では、更に、車室内撮影用リアカメラである車室内撮影用リアカメラ102が、カメラ以外の人検出可能なセンサを備え、人検出可能なセンサと車室内撮影用リアカメラの映像とに基づいて子供、障碍者等の置き去りを検知する構成としてもよい。
In this configuration, the vehicle interior photography
人検出可能なセンサとは、例えば焦電型赤外線センサやサーモセンサである。人検出可能なセンサを用いる構成は、映像データをAI処理するよりも低負荷で、子供、障碍者等を識別することができる。常に映像データ処理を実行することは大きな演算負荷を必要とするので、別個の人検出可能なセンサを用いて人の存在を検出し、人検出可能なセンサによる車内での人の検知結果を、車室内撮影用リアカメラ102の画像に基づく人検知処理を開始するトリガとして利用することが、演算負荷の低減及び高精度の人検知の観点で有利である。
例えば人検出可能なセンサの検知範囲を車両の後部領域あるいは後部座席付近に限定し、運転手と乗客とを、高精度に分けて判別する構成とするとよい。
A sensor capable of detecting a person is, for example, a pyroelectric infrared sensor or a thermosensor. A configuration using a sensor capable of detecting a person can identify a child, a disabled person, or the like with a lower load than AI processing of video data. Since constantly executing video data processing requires a large computational load, a separate person-detectable sensor is used to detect the presence of a person, and the result of detecting a person in the vehicle by the person-detectable sensor is Using the image of the
For example, the detection range of a sensor capable of detecting a person may be limited to the rear region of the vehicle or the vicinity of the rear seat, and the driver and passengers may be distinguished with high accuracy.
上記の構成により、車両のリア側から撮影した映像により、人の検出、子供、障碍者等とドライバーの分別、子供、障碍者等の置き去りの判定を非常に高精度に実行することができるので、車両に対して、高精度なリア側からの置き去り防止機能を提供することが可能となる。 With the above configuration, it is possible to detect people, distinguish between children, persons with disabilities, etc. and drivers, and determine whether children, persons with disabilities, etc. , it is possible to provide a vehicle with a highly accurate rear side abandonment prevention function.
既に説明した通り、車両後方から車内を撮影する車室内撮影用リアカメラ102は、前方座席の後方で、後ろ向きに取り付けられた乳児専用タイプのチャイルドシート内の乳児も良好に撮影及び識別することが可能であるので、そのような状況では、この実施例では、制御部303は、特に高精度なリア側からの置き去り防止機能を提供することができる。更に、人検出可能なセンサがサーモセンサであれば、乳児の体温を正確に把握し、必要に応じて最大限の注意を払った警告を出力することができる。
As already explained, the
第8の例の変形例として、車両のリア側から撮影した映像により、子供等の人を検出することは、置き去りの判定以外の判定をすることとしてもよい。例えば、撮影機器101Rの制御部303は、車室内撮影用リアカメラ102の撮影画像に基づいて、チャイルドシートからはみ出た位置に子供の頭部を認識した場合には、警告又は通知を出力するとよい。はみ出た位置は、例えば、チャイルドシートよりも上方の位置とするとよい。車室内撮影用リアカメラ102が、チャイルドシートに子供が座っている場合に撮影画像にその子供の頭部が映らないように設置されているとする。この場合において、撮影画像に子供の頭部が写っている場合には、その子供が立ち上がっている可能性があり、子供にとって危険な状況であると考えられるからである。
As a modification of the eighth example, detecting a person such as a child from an image taken from the rear side of the vehicle may be a determination other than the determination of abandonment. For example, when the control unit 303 of the photographing
警告又は通知の出力先は、車両10の内部の搭乗者向けとするとよいが、ドライバーが携帯している端末等(例えば、ユーザ端末103)の外部の端末としてもよい。警告としては、警告音の出力とするとよいが、発光や表示等を用いた警告の出力であってもよい。制御部303は、チャイルドシートからはみ出た頭部の移動方向や、頭部の移動量等に基づいて警告又は通知を出力するかどうかを判定したり、警告又は通知の内容を変化させたりしてもよい。このような第8の例の変形例によると、リア側から撮影した画像を用いて、子供の立ち上がりという危険な状況を、搭乗者等に把握させることができる。
The output destination of the warning or notification is preferably for passengers inside the
第9の例
想定されるケース
車内の人物の居眠り、睡眠を検出して、それに基づいて、通知や警告等を行う。
入力例
人物が撮影された画像
出力例
居眠りや睡眠についての通知、警告等
Ninth example: Assumed case A doze or sleep of a person in the car is detected, and a notification, warning, or the like is issued based on this.
Input example Images of people captured Output examples Notifications, warnings, etc. about dozing
制御部303は、後方から撮影した映像から、車内の人物の状態、特に居眠り、睡眠の状態を判定し、警告又は通知を行う構成とするとよい。
制御部303は、S410で車室内撮影用リアカメラ102により撮影された画像を取得し、S420で撮影された画像を解析し、S430で撮影された映像内に人物がいるか、映像内の人物がドライバーであるか或いは同乗者であるか、ドライバーの頭部が写っているか、頭部の状態が例えばコクリコクリと動くような居眠りに関する警告のパターンを示しているか、後部座席の同乗者の顔や頭部が写っているか、顔や頭部の状態が睡眠状態のパターンを示しているか、等を判定する。
The control unit 303 may be configured to determine the state of a person in the vehicle, particularly the state of dozing off or sleeping, from an image captured from behind, and issue a warning or notification.
The control unit 303 acquires the image captured by the
従来の車両前方に設けられた車内撮影用のカメラで撮影された映像では、特に後部座席の同乗者の睡眠状態を判定することは、前方座席等が死角になり困難であった。本実施例では、制御部303は、これらの判定を、後方からの撮影した映像を用いることで、有効に実行する構成とするとよい。制御部303は、後方からの居眠り、睡眠状態の判定するために、顔正面の映像が示す睡眠パターンに加えて、頭部の動きや、身体の動き、例えば頭部が窓ガラスに接触し続けている等の身体と車両の位置関係、等が示す睡眠パターン等を記憶している。 With images taken by a conventional in-vehicle camera installed in front of the vehicle, it is difficult to determine the sleeping state of fellow passengers in the rear seats, in particular, because the front seats and the like are blind spots. In this embodiment, the control unit 303 may be configured to effectively execute these determinations by using an image captured from behind. In order to determine the doze from behind and the sleep state, the control unit 303 detects, in addition to the sleep pattern indicated by the image of the front of the face, the movement of the head and the movement of the body, for example, the head continues to contact the window glass. It stores sleep patterns and the like indicated by the positional relationship between the body and the vehicle, etc.
S440では、制御部303は、映像データを解析することにより、記憶された睡眠パターンに合致することを検知してドライバーの居眠りを判定した場合、それをイベントトリガとして車両のスピーカ等から、居眠り状態にあることを警告する警報を出力する。そのような構成により、制御部303は、車線逸脱警報システム(LDWS:lane departure warning system)との組み合わせで、ドライバーの居眠りをより高精度に判定することもできる。 In S440, the control unit 303 analyzes the video data to detect that it matches the stored sleep pattern and determines that the driver is dozing. output an alarm to warn that Such a configuration allows the control unit 303 to more accurately determine whether the driver is dozing off in combination with a lane departure warning system (LDWS).
また、制御部303は、S440で、後部座席の子供が睡眠状態であることを判定した場合、車両のスピーカ等から「お子さまがお休み中です」等の通知音声を出力させる構成とするとよい。それにより、制御部303は、ドライバーに対して寝付いた子供を起こさないように注意した運転を開始するきっかけを提供することができる。また別のケースでは、制御部303は、後部座席の子供が睡眠状態であることを判定した場合、自動運転車両の走行モードを、より優しい、加速や減速がより緩やかな走行モードへ、変更する命令を出力する構成とするとよい。 Further, when the control unit 303 determines in S440 that the child in the rear seat is asleep, the control unit 303 may be configured to output a notification voice such as "The child is resting" from the vehicle speaker or the like. As a result, the control unit 303 can provide the driver with an opportunity to start driving while being careful not to wake the child who has fallen asleep. In another case, when the control unit 303 determines that the child in the back seat is asleep, the driving mode of the automatic driving vehicle is changed to a gentler driving mode with gentler acceleration and deceleration. A configuration for outputting an instruction is preferable.
第10の例
想定されるケース
車両に人が乗っている場合に撮影する
入力例
人を確認できる画像等の車両に人が乗っていることを判定するための情報
出力例
撮影した画像の画像情報
Example 10 Assumed case Photographing when a person is in the vehicle Input example Information for determining that a person is in the vehicle, such as an image that can identify a person Output example Image information of the captured image
制御部303は、車両に人が乗っている場合に撮影する機能を備えている。特に、制御部303は、車両のエンジンのオン/オフ、又はアクセサリ電源のオン/オフに関係なく、車両に人が乗っている場合に撮影する機能を有するとよい。車両のエンジンのオン/オフ、又はアクセサリ電源のオン/オフに関係なく撮影することは、どちらの場合でも撮影することをいうとよい。そのための電源制御としては、例えば以下のようにするとよい。撮影機器101Rは、充電機能を有する不図示のバッテリユニット(電源装置の一例)と電気的に接続されている。
The control unit 303 has a function of capturing an image when a person is in the vehicle. In particular, the control unit 303 preferably has a function of capturing an image when a person is in the vehicle regardless of whether the engine of the vehicle is on/off or the accessory power source is on/off. Taking pictures regardless of whether the vehicle engine is on/off or the accessory power is on/off means taking pictures in both cases. Power supply control for this purpose may be performed as follows, for example. The
撮影機器101Rは、車両のエンジンがオン又はアクセサリ電源がオンされている期間は、車両のバッテリからの電力の供給を受けて動作するとよい。撮影機器101Rは、車両のエンジンがオフ又はアクセサリ電源がオフされている期間は、バッテリユニットからの電力の供給を受けて動作するとよい。バッテリユニットは、撮影機器101Rと車両のバッテリとの間に電気的に接続されている。バッテリユニットは、車両のバッテリからの電力の供給を受けている期間は、その電力に基づいて充電するとよい。
The photographing
バッテリユニットは、車両からの電力の供給が停止し、その後も撮影機器101Rに電力を供給する場合は、充電した電力を撮影機器101Rに供給するとよい。撮影機器101Rは、内部の電源として、上述したようなバッテリユニットに相当する機能を有してもよい。車両に常時電源(+Bとも呼ばれる。)が搭載されている場合は、撮影機器101Rは、常時電源からの電力の供給を受けて、車両のエンジンのオン/オフ、又はアクセサリ電源のオン/オフに関わらず、動作するとよい。また、撮影機器101Rは、二次電池312等の内部の電源等を有していて、この内部の電源を用いて、車両のエンジンのオン/オフ、又はアクセサリ電源のオン/オフに関わらず、動作できるようにしてもよい。
If the battery unit continues to supply power to the photographing
制御部303は、車室内に人が存在することを検出した場合に、車両に人が乗っていると判定するとよい。車室内に人が存在することを検出するための情報は、例えば車室内の人を確認できる画像、例えば車室内撮影用リアカメラ102により撮影された画像とするとよい。制御部303は、S410で、車室内撮影用リアカメラ102により撮影された画像の画像情報を取得し、S420で撮影された画像を解析し、S430で人が写っているかどうかを判定する。制御部303は、例えば、人物の頭部や顔、身体の一部等が写っていることを認識した場合に、車室内に人が存在することを検出するとよい。
The control unit 303 may determine that a person is in the vehicle when detecting that a person is present in the vehicle compartment. The information for detecting the presence of a person in the vehicle interior may be, for example, an image from which a person in the vehicle interior can be identified, such as an image captured by the vehicle interior imaging
S440では、制御部303は、車両に人が乗っていると判定した場合に、車室内撮影用リアカメラ102により撮影された画像を示す画像情報を、所定の出力先に出力するとよい。例えば、制御部303は、その画像情報を、SDカード306等の記憶装置を出力先として、当該記憶装置に画像情報を記録するとよい。この画像情報の記録は、車両に人が乗っていると判定したことをトリガとしたイベント録画といってもよい。
In S440, if the control unit 303 determines that a person is in the vehicle, the control unit 303 preferably outputs the image information indicating the image captured by the vehicle interior capturing
画像情報を所定の出力先に出力する場合、マイクロホンにより収音した音声の音声情報もその出力先に出力してもよいことは、もちろんである。例えば、画像情報を記録する(つまり、録画する)場合は、音声情報の記録である録音も同時に行うとよい。このことは、特に断りのない限り、他の構成例においても同様である。マイクロホンは、車室内の音声を収音できる位置又は数で配置されるよい。撮影機器101Rがマイクロホンを有してもよいが、撮影機器101Rの外部にマイクロホンが配置されてもよい。制御部303は、外部の装置を出力先としてもよい。制御部303は、例えば、通信処理部314を用いて、画像情報を外部の装置に送信(つまり、送信出力)させるとよい。外部の装置は、例えば、画像情報記録用のサーバ装置、ユーザ端末103、複数の車両で撮影された画像情報を統括的に管理する管理センターのコンピュータ装置等とするとよい。
When image information is output to a predetermined output destination, it is of course possible to output audio information of audio picked up by a microphone to that output destination as well. For example, when recording image information (that is, recording), it is preferable to record sound information at the same time. This also applies to other configuration examples unless otherwise specified. The microphones may be arranged at positions or numbers that can pick up the sound inside the vehicle. The
制御部303は、車両に人が乗っていると判定していない場合、又は車両に人が乗っていないと判定した場合には、S440では、車室内撮影用リアカメラ102により撮影された画像を示す画像情報を、所定の出力先に出力しないようにするとよい。
If the control unit 303 determines that there is no person in the vehicle, or if it determines that no person is in the vehicle, in S440, the image captured by the
このようにすると、車両に人が乗っているときの様子を撮影画像から把握しやすくすることができる。車両の車室内において、トラブルや何らかの事象が発生するのは、車両に人が乗っている状況であることもよくあるから、車両に人が乗っているときの様子を把握しやすくすることは、そのような事象の発生の有無や発生の状況を確認する上で、有用である。車両に乗っている人は、運転手やその同乗者といった車両の正規の利用者である場合もあれば、不正に車両に乗った人(例えば、盗難者)である場合もあり得る。特に、車両に人が乗っている状況であれば、車両の駆動源又は車両の電源がオンかオフかに関わらず、車両の車室内においてトラブルや何らかの事象が発生する可能性はある。そのため、車両のエンジン又は車両のアクセサリ電源がオンかオフかに関わらず、車両に人が乗っているときの様子を把握しやすくすることは、そのような事象の発生の有無や発生の状況をより確実に確認できるようにする上で、有用である。 By doing so, it is possible to easily grasp the situation when a person is in the vehicle from the photographed image. It is often the case that troubles or other events occur in the cabin of a vehicle when there are people in the vehicle. It is useful for confirming the presence or absence of occurrence of such an event and the situation of occurrence. A person riding in a vehicle may be an authorized user of the vehicle, such as a driver or a fellow passenger, or may be a person who illegally rides the vehicle (for example, a thief). In particular, if a person is in the vehicle, there is a possibility that troubles or other events will occur inside the vehicle regardless of whether the vehicle's drive source or power supply is on or off. Therefore, regardless of whether the vehicle engine or the vehicle accessory power supply is on or off, it is important to make it easier to grasp the situation when a person is in the vehicle, and to determine whether or not such an event occurs and the circumstances under which it occurs. This is useful for more reliable confirmation.
さらに、以下のような構成が採用されてもよい。
制御部303は、車両に人が乗っていると判定した期間のみの画像情報を、所定の出力先に出力してもよいが、その期間の前、後又はこれらの両方である期間(以下「前後期間」という。)の画像情報を出力すると尚良い。前後期間は、固定の時間長(例えば、前5分、後5分)としてもよいが、ユーザが設定できるように撮影機器101Rが構成されてもよい。このようにすると、車両に人が乗っている期間の前後の画像情報も出力されるため、例えば車両に人が乗ってきたときの様子、又は降りたときの様子も、撮影画像から把握できるようにすることができる。
Furthermore, the following configuration may be employed.
The control unit 303 may output image information only during the period in which it is determined that a person is in the vehicle to a predetermined output destination. It is more preferable to output the image information of the "before and after period"). The before-and-after period may be a fixed length of time (for example, five minutes before and five minutes after), but the photographing
車両に人が乗っていることを判定するための情報として、人を確認できる画像以外の情報が用いられてもよい。例えば、上述した人検知センサによる検知信号が用いられてもよい。制御部303は、この検知信号に基づいて、車両に人が乗っているかどうかを判定するとよい。 As information for determining whether a person is in the vehicle, information other than an image that can confirm a person may be used. For example, a detection signal from the human detection sensor described above may be used. The control unit 303 may determine whether or not a person is in the vehicle based on this detection signal.
制御部303は、車両に人が乗っていると判定していない期間、又は車両に人が乗っていないと判定した場合には期間は、車室内撮影用リアカメラ102による撮影を停止してもよい。この場合、制御部303は、車両に人が乗っていることを判定した場合は、車室内撮影用リアカメラ102による撮影を開始して画像情報を取得し、所定の出力先に出力するとよい。また、ここまでは、車両のエンジンのオン/オフ、又はアクセサリ電源のオン/オフに関係なく、車両に人が乗っていると判定した場合に撮影する機能について説明したが、車両のエンジンがオン又はアクセサリ電源がオンされている期間にのみ撮影する機能としてもよい。
The control unit 303 stops photographing by the vehicle interior photographing
第11の例
想定されるケース
人がしゃべった場合に撮影する
入力例
人の音声等の人がしゃべったことを判定するための情報
出力例
撮影した画像の画像情報
Eleventh example Assumed case Capture when a person speaks Input example Information for judging whether a person has spoken, such as a person's voice Output example Image information of a captured image
制御部303は、人がしゃべった場合に撮影する機能を備えている。人がしゃべったことは、人が話したこと、人の音声を検知したこと、等と読み替えてもよい。制御部303は、車両のエンジンのオン/オフ、又はアクセサリ電源のオン/オフに関係なく、人がしゃべった場合に撮影してもよいが、車両のエンジンのオン、又はアクセサリ電源のオンの期間にのみ撮影してもよい。車両のエンジンのオン/オフ、又はアクセサリ電源のオン/オフに関係なく行う場合は、第10の例と同様の電源制御が行われるとよい。 The control unit 303 has a function of capturing an image when a person speaks. What a person speaks may be read as what a person speaks, what a person's voice is detected, or the like. The control unit 303 may shoot when a person speaks regardless of whether the vehicle engine is on/off or the accessory power is on/off. You can shoot only on If it is performed regardless of whether the vehicle engine is on/off or the accessory power supply is on/off, the same power control as in the tenth example may be performed.
人がしゃべったことを判定するための情報は、例えば、車室内に配置されたマイクロホンに入力された音声の音声情報とするとよい。マイクロホンは、車室内の音声を収音するのに適した場所とするよい。撮影機器101Rがマイクロホンを有してもよいが、撮影機器101Rの外部にマイクロホンが配置されてもよい。制御部303は、S410で、マイクロホンに入力された音声を示す音声情報を取得し、S420で音声情報を解析し、S430で人がしゃべったかどうかを判定するとよい。人がしゃべったかどうかの判定方法は特に問わないが、制御部303は、例えば、音声情報の信号波形に基づいて判定してもよいし、音声情報における人の音声が属する周波数帯域の成分に基づいて判定してもよい。
Information for determining whether a person has spoken may be, for example, voice information of a voice input to a microphone placed in the vehicle interior. The microphone should be placed in a suitable location to pick up the sound inside the vehicle. The
制御部303は、独り言のような一人の人の音声を検出した場合に、人がしゃべったと判定してもよいが、会話(対話)のような二人以上の人の音声を検出した場合に、人がしゃべったと判定してもよい。人がしゃべったと判定する条件は、言語として認識できる音声を認識したこととしてもよいが、特に、対話形式の人の音声を認識したこと、例えば発話とそれに対する応答を検出したこととしてもよい。人がしゃべったと判定する条件は、パワーハラスメント、セクシャルハラスメント、モラルハラスメントといったハラスメント行為が行われたとき、暴言が発せられたときその他トラブルが発生したことを推測させる音声(例えば、音声キーワード)を検出したこととしてもよい。 The control unit 303 may determine that a person has spoken when detecting the voice of one person such as monologue, but when detecting the voice of two or more people such as conversation (dialogue), , it may be determined that the person spoke. The condition for determining that a person has spoken may be the recognition of speech that can be recognized as a language, but in particular, the recognition of conversational human speech, for example, the detection of an utterance and a response to it. The conditions for judging that a person has spoken are when harassment acts such as power harassment, sexual harassment, and moral harassment are performed, when abusive language is uttered, and when other troubles occur (e.g., voice keywords) are detected. It can be done.
S440では、制御部303は、車室内において人がしゃべったと判定した場合に、車室内撮影用リアカメラ102により撮影された画像を示す画像情報を、所定の出力先に出力するとよい。所定の出力先は、第10の例と同様とするとよい。例えば、制御部303が画像情報を、SDカード306等の記憶装置を出力先として画像情報を記録する場合、この画像情報の記録は、車室内において人がしゃべったと判定したことをトリガとしたイベント録画といってもよい。制御部303は、車室内において人がしゃべったと判定していない場合、又は車室内において人がしゃべっていないと判定した場合には、S440では、画像情報を所定の出力先に出力しないようにするとよい。
In S440, if the control unit 303 determines that a person has spoken in the vehicle interior, the control unit 303 preferably outputs image information indicating an image captured by the vehicle interior imaging
このようにすると、車室内の人がしゃべったときの様子を撮影画像から把握しやすくすることができる。例えば、車室内は密室ともいえる場合もあり、ハラスメント行為等のトラブルや何らかの事象が発生する可能性があると考えられる。この場合に、そのような事象に関することを、車室内の人がしゃべる可能性がある。また、例えば、仲間同士で旅行に出かけたような場合に、そのしゃべった期間の様子を撮影しておくことで、撮影画像を思い出として残しておきたい場合がある。このように、人がしゃべったときの車室内の様子を把握しやすくすることは、そのような事象の発生の有無や発生の状況を確認する上で、有用である。 By doing so, it is possible to easily grasp from the captured image how the people in the vehicle are talking. For example, the inside of a vehicle can be said to be a closed room, and there is a possibility that troubles such as harassment or other events may occur. In this case, people in the passenger compartment may talk about such events. Further, for example, when friends go on a trip, there is a case where they want to keep the photographed image as a memory by photographing the state of the conversation period. In this way, it is useful to make it easier to grasp the state of the vehicle interior when a person is speaking, in order to confirm the presence or absence of such an event and the circumstances of its occurrence.
さらに、以下のような構成が採用されてもよい。
制御部303は、車室内において人がしゃべった期間の前、後又はそれらの両方である前後期間の画像情報を、出力するとよい。前後期間は、固定の時間長としてもよいが、ユーザが設定できるように撮影機器101Rが構成されてもよい。このようにすると、車室内において人がしゃべった期間の前後の画像情報も出力されるため、そのしゃべった期間の前後の様子も撮影画像から把握できるようにすることができる。
Furthermore, the following configuration may be employed.
The control unit 303 may output image information before and after a period in which a person speaks in the vehicle compartment, or before and after the period, or both of them. The before-and-after period may be a fixed length of time, or the
人がしゃべったことを判定するための情報として、人の音声以外の情報が用いられてもよい。制御部303は、例えば車室内撮影用リアカメラ102により撮影された画像を解析して、人がしゃべっている動作を認識した場合に、人がしゃべったと判定してもよい。
Information other than a person's voice may be used as information for determining that a person has spoken. For example, the control unit 303 may analyze an image captured by the vehicle interior imaging
制御部303は、どの人がしゃべった場合も画像情報を所定の出力先に出力してもよいが、特定の人がしゃべった場合に画像情報を所定の出力先に出力し、それ以外の人がしゃべった場合は画像情報を所定の出力先に出力しないようにしてよい。この場合、制御部303は、音声解析技術を用いて、しゃべった人を特定するとよい。特定の人としては、運転手やその同乗者といった正規の利用者としてもよいし、正規の利用者以外の人(例えば、盗難者等の不正に乗車した人)としてもよい。しゃべった人の顔を撮影した画像を取得できる場合は、制御部303は、その画像を解析して、しゃべった人を特定してもよい。 The control unit 303 may output the image information to a predetermined output destination when any person speaks, but when a specific person speaks, the control unit 303 outputs the image information to a predetermined output destination, and outputs the image information to the predetermined output destination. image information may not be output to a predetermined output destination when the user speaks. In this case, the control unit 303 may use voice analysis technology to identify the speaker. The specific person may be an authorized user such as the driver or his fellow passenger, or may be a person other than the authorized user (for example, a thief or other person who illegally boarded the vehicle). If an image of the face of the person who spoke can be acquired, the control unit 303 may analyze the image to identify the person who spoke.
複数の同乗者がいる場合の対話中に、制御部303が、上記の音声解析技術を用いて、音声に各種のハラスメント行為に割り当てられた特定の情報、例えば意味的にハラスメント行為と認識される音声や、あるいは波形的にハラスメント行為と識別される音声、が含まれることを判定した場合、制御部303は、画像情報にしゃべった人や割り当てられたハラスメント行為に関する情報を追加して出力してもよい。また、各種のハラスメント行為に割り当てられた特定の情報は、ユーザにより設定、選択、追加できるとよい。 During a conversation with a plurality of passengers, the control unit 303 uses the above-described voice analysis technology to detect specific information assigned to various harassment acts in the voice, such as semantically harassment acts. When it is determined that a voice or a voice that is identified as a harassment behavior in terms of waveform is included, the control unit 303 adds information about the person who spoke and the assigned harassment behavior to the image information and outputs it. good too. Also, the specific information assigned to each type of harassment activity may be set, selected, or added by the user.
第12の例
想定されるケース
車内の人が手を伸ばした場合に撮影する
入力例
人を確認できる画像等の車内の人が手を伸ばしたことを判定するための情報
出力例
撮影した画像の画像情報
Twelfth example Assumed case When a person in the car reaches out his/her hand, an image is captured Input example Information for determining whether a person in the car has reached out, such as an image that can identify the person Output example Image of the captured image image information
制御部303は、車室内において人が手を伸ばした場合に撮影する機能を備えている。人が手を伸ばすことは、人が腕を伸ばしたことと、と読み替えてもよい。制御部303は、車両のエンジンのオン/オフ、又はアクセサリ電源のオン/オフに関係なく、車室内において人が手を伸ばした場合に撮影してもよいが、車両のエンジンのオン、又はアクセサリ電源のオンの期間にだけ行うようにしてもよい。車両のエンジンのオン/オフ、又はアクセサリ電源のオン/オフに関係なく行う場合は、第10の例と同様の電源制御が行われるとよい。 The control unit 303 has a function of capturing an image when a person reaches out his/her hand in the vehicle. Reaching out a hand may be read as extending an arm. The control unit 303 may shoot when a person reaches out his/her hand in the vehicle regardless of whether the vehicle engine is on/off or the accessory power supply is on/off. It may be performed only while the power is on. If it is performed regardless of whether the vehicle engine is on/off or the accessory power supply is on/off, the same power control as in the tenth example may be performed.
車室内において人が手を伸ばしたことを判定するための情報は、例えば、車室内撮影用リアカメラ102により撮影された画像とするとよい。制御部303は、S410で、人物を確認できる画像、例えば車室内撮影用リアカメラ102により撮影された画像の画像情報を取得し、S420で撮影された画像を解析し、S430で車内の人が手を伸ばしたかどうかを判定するとよい。制御部303は、運転席に座っている人(つまり運転手)が助手席側に向かって手を伸ばした場合に、人が手を伸ばしたと判定してもよいし、助手席に座っている人が運転席側に向かって手を伸ばした場合に、人が手を伸ばしたと判定してもよいし、これらの両方としてもよい。人の身体の部位として、手は比較的長尺の部位である。制御部303は、例えば、その部位の特徴に基づいて、手を伸ばしたことを判定するとよい。
Information for determining that a person has extended his or her hand in the vehicle interior may be, for example, an image captured by the vehicle interior imaging
制御部303は、運転席に座っている人(つまり運転手)が、例えばシフトレバーの可動範囲やセンターコンソールの範囲を超えて、助手席側に向かって手や手で持っているものを伸ばした場合に、人が手を伸ばしたと判定してもよい。同様に、制御部303は、助手席に座っている人が、例えばシフトレバーの可動範囲まであるいはセンターコンソールの範囲を超えて、運転席側に向かって手や手で持っているものを伸ばした場合に、人が手を伸ばしたと判定してもよい。
上記のようにシフトレバーの可動範囲やセンターコンソールの範囲等は、人が手を伸ばしたと判定するための基準として利用することができるが、ユーザは、車室内撮影用リアカメラ102により撮影された画像を用いて、例えば運転席と助手席の間の任意の位置に、人が手を伸ばしたと判定するための基準を、独自に設定でき、更に、その基準を必要に応じて変更や調整できる構成とするとよい。
The control unit 303 allows the person sitting in the driver's seat (i.e., the driver) to extend his or her hand toward the front passenger seat beyond the movable range of the shift lever or the range of the center console, for example. , it may be determined that the person has extended his or her hand. Similarly, the control unit 303 indicates that the person sitting in the front passenger seat has extended their hand or something they are holding toward the driver's seat, for example, up to the range of movement of the shift lever or beyond the range of the center console. case, it may be determined that the person has reached out.
As described above, the movable range of the shift lever, the range of the center console, and the like can be used as criteria for determining that a person has reached out. Using images, it is possible to independently set criteria for judging that a person has extended his or her hand to an arbitrary position between the driver's seat and the passenger's seat, and to change or adjust the criteria as necessary. configuration.
S440では、制御部303は、車室内において人が手を伸ばしたと判定した場合に、車室内撮影用リアカメラ102により撮影された画像を示す画像情報を、所定の出力先に出力する。出力先としては、第10の例と同様とするとよい。例えば、制御部303が画像情報を、SDカード306等の記憶装置を出力先として画像情報を記録する場合、この画像情報の記録は、車室内において人が手を伸ばしたと判定したことをトリガとしたイベント録画といってもよい。制御部303は、車室内において人が手を伸ばしたと判定していない場合、又は車内の人が手を伸ばしていないと判定した場合には、S440では、画像情報を所定の出力先に出力しないようにするとよい。
In S440, the control unit 303 outputs image information indicating an image captured by the vehicle interior imaging
このようにすると、車室内の人が手を伸ばしたときの様子を撮影画像から把握しやすくすることができる。例えば、車両の車室内は、密室ともいえる場合もあり、ハラスメント行為等のトラブルや何らかの事象が発生した場合は、暴力行為や威嚇行為が行われる可能性があると考えられる。人が腕を伸ばす行為があった場合、殴るなどの行為の発生が疑われる。車室内において人が手を伸ばしたときの車室内の様子を把握しやすくすることは、そのような事象の発生の有無や発生の状況を確認する上で、有用である。 By doing so, it is possible to easily grasp from the photographed image how a person in the vehicle reaches out his or her hand. For example, the interior of a vehicle can be said to be a closed room, and in the event of trouble such as harassment or other incidents, there is a possibility that violent or intimidating acts will be carried out. If a person stretches his or her arm, it is suspected that an act such as hitting will occur. It is useful in confirming whether or not such an event has occurred and how it has occurred to make it easier to grasp the state of the vehicle interior when a person reaches out his or her hand in the vehicle interior.
さらに、以下のような構成が採用されてもよい。
制御部303は、車室内において人が手を伸ばした期間の前、後又はそれらの両方である前後期間の画像情報を、出力するとよい。前後期間は、固定の時間長としてもよいが、ユーザが設定できるように撮影機器101Rが構成されてもよい。このようにすると、車室内の人が手を伸ばした期間の前後の画像情報も出力されるため、人が手を伸ばした期間の前後の様子も把握できるようにすることができる。
Furthermore, the following configuration may be employed.
The control unit 303 may output the image information of the period before, after, or both of the period during which the person reaches out his/her hand in the vehicle compartment. The before-and-after period may be a fixed length of time, or the
制御部303は、どの人が手を伸ばした場合も画像情報を所定の出力先に出力してもよいが、特定の人が手を伸ばした場合に画像情報を所定の出力先に出力し、それ以外の人が手を伸ばした場合は画像情報を所定の出力先に出力しないようにしてよい。制御部303は、第11の例で説明したような方法で、人を特定するとよい。 The control unit 303 may output the image information to a predetermined output destination when any person reaches out their hand, but when a specific person reaches out their hand, the control unit 303 outputs the image information to a predetermined output destination, If another person reaches out, the image information may not be output to the predetermined output destination. The control unit 303 may identify the person using the method described in the eleventh example.
また、人が単に物を取ったり、物を置いたりする場合も、その人が手を伸ばすことはある。そこで、制御部303は、マイクロホンで収音された音声やその他の情報を用いて、車室内において人が手を伸ばした状況を特定し、その状況に応じて、画像情報を所定の出力先に出力するかどうかを判定してもよい。例えば、制御部303は、トラブルの発生に関する所定の音声を検出したと判定したり、その他のトラブルの発生を把握するための情報を取得したりした場合は、画像情報を出力し、それ以外の場合は画像情報を出力しないようにしてもよい。 Also, when a person simply picks up or puts down an object, the person may reach out. Therefore, the control unit 303 uses the sound picked up by the microphone and other information to identify the situation in which the person reaches out his or her hand in the vehicle, and depending on the situation, outputs the image information to a predetermined output destination. It may be determined whether or not to output. For example, when the control unit 303 determines that a predetermined sound related to the occurrence of trouble is detected or acquires other information for understanding the occurrence of trouble, the control unit 303 outputs image information, and outputs other information. In this case, the image information may not be output.
車室内において人が手を伸ばしたことは、後部座席から運転席又は助手席に手を伸ばしたこととしてもよい。例えば、タクシー等においては、乗客と偽った人が運転手に向かって暴力行為や威嚇行為をはたらくこともありうる。このようにすると、トラブルが発生したときの様子を撮影画像から把握しやすくすることができる。車室内において人が手を伸ばしたことは、運転席又は助手席に座っている人が後部座席側に手を伸ばしたこととしてもよく、人の位置については様々な変形が可能である。 Reaching out of a hand in the passenger compartment may be regarded as reaching out from the rear seat to the driver's seat or the front passenger's seat. For example, in a taxi or the like, a person pretending to be a passenger may act violently or intimidate the driver. By doing so, it is possible to easily grasp the situation when a trouble occurs from the photographed image. A person's hand reaching out in the passenger compartment may be regarded as a person sitting in the driver's seat or a passenger's seat reaching out toward the rear seat.
第10の例、第11の例、及び第12の例において、制御部303は、S440の処理を行う場合に、さらに、警告又は通知を行う構成としてもよい。警告又は通知は、例えば、撮影機器101Rに設けられた発光体を発光したり、撮影機器101Fに設けた発光体を発光させたりするよいが、警告又は通知は人が知覚可能な方法で行われればよい。ただし、防犯等の目的で撮影機器101Rを用いるような場合、車外に向けた警告又は通知に行われてもよいし、よりレベルを上げた警告又は通知が行われてもよい。
In the tenth example, the eleventh example, and the twelfth example, the control unit 303 may be configured to issue a warning or notification when performing the process of S440. The warning or notification may be, for example, by emitting light from a light-emitting body provided on the photographing
図5は、2つのカメラを設置した実施例である。
図5(a)の実施例では、車両10には、撮影機器101Rの他に、2つの車室内撮影用リアカメラ102a、102bが設置されている。また、図5(b)の実施例では、車両10には、撮影機器101Rの他に、2つの車室内撮影用リアカメラ102c、102dが設置されている。
FIG. 5 shows an embodiment in which two cameras are installed.
In the embodiment of FIG. 5A, the
図5(a)、図5(b)のどちらの実施例でも車室内撮影用リアカメラ102a、102b又は車室内撮影用リアカメラ102c、102dは、車両後方から車両前方へ向かう方向に撮影しているが、それらの一方又は両方を後方に向けることも可能である。また、車室内撮影用リアカメラ102の1つを、撮影機器101Rに置き換える構成でもよい。車室内撮影用リアカメラ102は2つではなく、どちらか1つだけの構成であってもよい。車室内撮影用リアカメラ102c、102dは、車両10のピラーの位置(ここでは、車室側の部位)に取り付けられるようにするとよい。
In both the embodiments of FIGS. 5(a) and 5(b), the vehicle interior photographing
また、2つの車室内撮影用リアカメラ102a、102b又は車室内撮影用リアカメラ102c、102dの取り付け位置は、車両の後方、特には後部座席後方からリアガラスの間の範囲であることが有利である。
1つの撮影機器101Rと2つの追加の車室内撮影用リアカメラ102a、102b又は102c、102dは、有線または無線で接続されており、2つの追加の車室内撮影用リアカメラ102a、102b又は102c、102dで撮影された映像データは、撮影機器101Rで画像処理されるとよい。
In addition, the two
The one photographing
図5(b)の実施例では、車室内撮影用リアカメラ102c、102dの映像は、それぞれが直接撮影機器101Rへ送られてもよいし、例えば車室内撮影用リアカメラ102cの映像が、車室内撮影用リアカメラ102dを経由して、撮影機器101Rへ送られてもよい。
In the embodiment of FIG. 5(b), the images of the vehicle interior photographing
車両後方に取り付けられたカメラは、例えばバスなどでは、最後部の座席に座った乗客の様子も良好に撮影することを可能とする。
リアカメラは、電線をガラスにつける部分から出すように設計されたコネクタを実装してもよい。このようなコネクタは、車内でケーブルがより目立たなくなるような位置にあるとよく、車両の種類やデザインに応じて取り付け位置の調整する構成とするとなおよい。
A camera attached to the rear of a vehicle, for example, on a bus, makes it possible to take good pictures of passengers sitting in the last seats.
The rear camera may implement a connector designed to let the wires exit from where they attach to the glass. Such a connector should preferably be positioned so that the cable is less conspicuous inside the vehicle, and it is even better if the mounting position is adjusted according to the type and design of the vehicle.
車室内撮影用リアカメラ102c、102dは、例えば天球カメラ(半天球カメラ)、180°カメラ、360°カメラ等である構成であるとよい。このような構成では、更に、車室内撮影用リアカメラ102c、102dの向きを変更することなしに、車両の後方から車両の前方に向かって撮影した車内の映像に加えて、車両後方から車両外部をぐるりと見渡すことができる映像を撮影する構成であるとよい。そのような構成で撮影された映像を、フロントカメラで撮影された映像と組みあわせて解析する構成とするとよい。
これらの映像データが、第5世代移動通信システム(5G)を用いて伝送される構成であると、例えばたくさんの天球カメラを取り付けた場合でもデータの伝送をスムーズに行うことができる。
The
If these video data are transmitted using the 5th generation mobile communication system (5G), data transmission can be performed smoothly even when, for example, many celestial cameras are attached.
図6は、図1の実施例の車室内撮影用リアカメラ102の撮影方向が変更可能な実施例である。なお、図6(a)の車室内撮影用リアカメラ102eと図6(b)102dは、同一のカメラであって異なる撮影方向を向いた状態を表すものである。
FIG. 6 shows an embodiment in which the photographing direction of the vehicle interior photographing
図6に示すように、例えば車室内撮影用リアカメラ102eは、撮影機器101Rに対してその長手軸の周りで180°回転させることで、車室内撮影用リアカメラ102dの状態に撮影方向を変更可能である。このように車室内撮影用リアカメラ102dの撮影方向を変え、車両10の後方を撮影する構成とすることで、撮影機器101Rと、車室内撮影用リアカメラ102dの2カメラで車両後方を撮影することができ、例えば後方車両などの後方の物体までの正確な距離を測定することができる。
As shown in FIG. 6, for example, the vehicle interior photographing
この実施例では、2つのカメラの間の距離は互いに1mmも離れていれば、正確な距離を測定することが可能となる。さらに、約10cm程度距離が離れていると非常に高精度な距離測定が可能となる。このような構成では、更に、車室内撮影用リアカメラ102dからの映像を用いて、後方車両の距離を正確に検出できるので、検出された正確な距離に基づいて、煽り運転、後方車両の危険な車線変更等の判定をより正確に実行する構成であるとよい。
In this embodiment, the distance between the two cameras can be measured accurately as long as the distance between them is 1 mm. Furthermore, when the distance is about 10 cm, extremely accurate distance measurement becomes possible. With such a configuration, furthermore, the distance to the vehicle behind can be accurately detected using the image from the
この構成では、撮影機器101Rに1つの車室内撮影用リアカメラ102を追加することで、併せて車両後方を2カメラで撮影することが可能となり、車両内のカメラシステムに格段の拡張性を提供することができる。
In this configuration, by adding one
なお、上記のような正確な距離の測定は、側方を撮影する2つのカメラを用いることで、側方車両に対しても同様に実行することができる。例えば、上記の第2の例などで、側方煽りの危険度をより正確に判定するために利用する構成とするとよい。 It should be noted that the accurate distance measurement as described above can be similarly performed for the side vehicle by using two cameras that photograph the side. For example, in the above-described second example, the configuration may be used to more accurately determine the degree of risk of side tilting.
なお、車室内撮影用リアカメラ102が、カメラの方向の調整に連動する投光方向を持つ例えばLEDライト(例えば赤外光LEDライト)などの投光器を備え、車外に車室内撮影用リアカメラ102を向けたとき投光器の光を電気的遮断(例えば、スイッチをオフする)または機械的遮蔽(例えば、カバーで発光部を覆う)することによって、投光器の光が車外に見えないような構成とするとよい。
In addition, the vehicle interior photographing
このような構成では、更に、車室内撮影用リアカメラ102を内に向けた場合には、撮影用ライトの光により夜間等の暗い環境下においても明瞭な車室内の映像を撮影することができ、又は、インジケータのライトの光により車室内撮影用リアカメラ102の駆動状況が確認できる構成であるとよい。一方、車室内撮影用リアカメラ102を車外に向けた場合には、撮影用ライトやインジケータ等の投光器からの光の発光を停止し、車外に不要な光が漏れることを防止することができる。
With such a configuration, when the vehicle interior photographing
図20は、投光器の光を遮断するカメラの例である。
(a)は、車室内撮影用リアカメラ102の概観を示すものであり、筐体2001にレンズ2004があり、2つのLEDランプ2003がレンズ2004の左右についている構成である。なお、LEDランプの位置はこの部分に限られず、筐体2001の別の位置にあってもよい。
FIG. 20 is an example of a camera that blocks light from a projector.
(a) shows an overview of the
(b)は本実施例における投光器の光を遮断するカバー2002が取り付けられている状態を示す図の例である。リアウインドウ等に取り付けられた車室内撮影用リアカメラ102は、そのレンズ2004の方向を図10や図16のように、車両後方側に180°回転することが可能である。この様に、車両後方の車外を撮影する場合には、LEDランプ2003の光が遮られる様にカバー2002がLEDランプ2003を覆う構成になっている。この様に機械的にLEDランプ2003を覆うことで、レンズ2004が車外を向いているときに、車外に向けて発光されてしまうことを防止することができる。
(b) is an example of a diagram showing a state in which a cover 2002 for blocking light from the projector is attached in this embodiment. The direction of the lens 2004 of the vehicle interior photographing
(c-1)(c-2)は、(b)に対してそのレンズ2004を180°回転し、車室内を撮影する構成を示す図の例である。(c-1)はそれを車両後方から見た図であり、レンズ2004は図の紙面奥側に存在していて、車室内を撮影している。(c-2)は、それを車室内から見た図であり、レンズ2004が車室内を撮影している場合には、その左右にあるLEDランプ2003は遮蔽されておらず、車室内に向かって投光する構成となっている。 (c-1) and (c-2) are examples of diagrams showing a configuration for photographing the interior of the vehicle by rotating the lens 2004 by 180° with respect to (b). (c-1) is a view of this as seen from the rear of the vehicle, and the lens 2004 exists on the far side of the paper surface of the figure and photographs the interior of the vehicle. (c-2) is a view of it as seen from inside the vehicle. It is configured to emit light at the same time.
車室内撮影用リアカメラ102がカメラの方向を調整可能な構成でない場合にも、上述した投光器の遮断構成を適用する構成とすることができる。例えば、カメラの投光器を車内向けに付けるようにするが、車外向けには付けないようにするとよい。または、カメラの投光器は、車外向けに付ける場合であっても、車両10の後方に向かって発光しないようにするとよい。例えば、投光器の光を電気的遮断または機械的遮蔽する構成を採用することができる。
Even if the
車室内撮影用リアカメラ102e、102dが270°以上回転できる構造であるとよく、そのような構成では、車両の形状、撮影機器101Rや車室内撮影用リアカメラ102の取り付け位置、に応じて柔軟に撮影方向を調整することができる。
It is preferable that the
図7は、図1の撮影機器101R及び車室内撮影用リアカメラ102が1つの広角カメラにより構成されている実施例である。
図7(a)の広角カメラ700は広角レンズを有している。広角レンズは、標準のレンズよりも画角が広いレンズである。広角レンズは、標準のレンズよりも焦点距離が短い。広角カメラ700は広角レンズを用いて撮影する撮影手段を有する。広角カメラ700の撮影手段は、撮影し、撮影した画像を示す画像データを生成する。
FIG. 7 shows an embodiment in which the photographing
A wide-
画像は、動画像及び静止画像のいずれでもよいが、典型的には動画像である。広角レンズを用いて撮影された画像においては、広角レンズに起因する歪み(画像歪みともいう。)が含まれる。この画像においては、画像中央部から端部に近づくにつれて歪みが大きくなる。本実施の形態では、広角レンズは、広角カメラ700が車両のリアガラスやリアルーフに取り付けられるべき姿勢で取り付けられたとき、鉛直下方向を挟んだ両側にわたり240°の画角を有する。これにより、広角カメラ700は、鉛直下方向を挟んだ両側にわたる広範な領域を撮影できる。
An image may be either a moving image or a still image, but is typically a moving image. An image captured using a wide-angle lens includes distortion (also referred to as image distortion) caused by the wide-angle lens. In this image, the distortion increases from the center of the image toward the edges. In the present embodiment, the wide-angle lens has an angle of view of 240° across both sides in the vertically downward direction when wide-
図7(a)の広角カメラ700は、半球カメラであり、その画角X°は240°である。これにより、半球カメラは、車両後方から前方に向かって撮影した車内の映像、車両直後の映像、車両前方の映像、車両前方及び車両後方の仰角方向の映像等を1つの映像データとして撮影することができる。車種に応じて適切な画角の半球カメラを選択し、また、適切な位置に接しすることにより、上記の映像データには、車両の前方及び後方の信号の状態も記録することが可能となる。
A wide-
画角X°は、180°よりも大きい画角で、例えば220°、270°、360°またはその他の画角でもよい。広角レンズ114は魚眼レンズでもよい。広角レンズの画角は各方向で均一である必要はなく、例えば、車両の前後方向の画角が車両の幅方向の画角よりも大きくなる特性を有するレンズであってもよい。
The angle of view X° is an angle of view greater than 180°, such as 220°, 270°, 360° or other angles of view. The wide-
図7(b)は、図7(a)の広角カメラ700の拡大図を示している。
広角カメラ700は、レンズの方向に投光器701を有しており、この投光器701の向きはレンズの向きと連動して変化する。広角カメラ700は、その車両後方側半分がフィルタ702で覆われている。図7(b)の実施例では、フィルタ702は、広角カメラ700を覆うハウジングカバーに取り付けられている。
FIG. 7(b) shows an enlarged view of the wide-
A wide-
投光器701からの光は、車室内を明るく撮影するための補助光や、インジケータのLEDライトからの光が想定されるが、レンズの向きが車両後方に向いた場合には、フィルタ702によって、投光器701から発せられる光を遮蔽する構成であるとよく、それによりリアガラス越しに車外の人物に光が認識されることを確実に避けることができる。
投光器701からの光が赤外光であり、広角カメラ700がIRカメラであると、夜間等にも車室内を明瞭に撮影することができる。
The light from the
If the light from the
広角カメラ700は、車両後方及び車両前方に取り付けることもできる。広角カメラ700を半球カメラとして、フロントガラスの真ん中、リアガラスの真ん中ではなく、車両の対角線上の隅に設置して、車両内外をぐるりと見ることができる構成にすることもできる。
The wide-
図19は、別の広角カメラ100の例であり、広角カメラ100を側面方向から見たときの、操作面120が有する平坦面と広角レンズ114の光軸114Aとの位置関係を示す図である。図19に示す状態において、広角カメラ100は正姿勢である。
操作面120が有する平坦面の法線は水平方向120Hを向いており、広角レンズ114の光軸114Aが鉛直下方向に対して操作面120が存在する側とは反対側に所定の角度θ傾いている。
FIG. 19 is another example of wide-
The normal line of the flat surface of the
本実施例では、広角レンズ114の光軸114Aが、ユーザが目測で確認可能な方向である鉛直下方向に対して車両のリアガラスがある後ろ方向に所定の角度θ傾いている。ケース116が車両のリアガラスに取り付けられたときのこの姿勢が正姿勢である。また、画角X1°は、ケース116が正姿勢にあるときに、鉛直下方向に対して操作面120が存在する側の画角であり、画角X2°は、ケース116が正姿勢にあるときに、鉛直下方向に対して操作面120が存在する側とは反対側の画角である。画角X°と、画角X1°と、画角X2°とは、X°=X1°+X2°という関係を満たす。広角レンズ114は、ケース116に対して角度が固定されている。
In this embodiment, the
角度θは、広角レンズ114の画角X°に対して、次の式(1)を満たす。
θ=((X-200)×0.5)° ・・・(1)
式(1)を満たすように所定の角度θを設定することにより、広角カメラ100は、広角レンズ114の光軸114Aが、鉛直下方向に対して操作面120の存在する側とは反対側に((X-200)×0.5)°傾き、水平方向120Hよりも上の(X-190)°の領域を含む、上下に広範な領域を撮影できる。
The angle θ satisfies the following formula (1) with respect to the angle of view X° of the wide-
θ=((X-200)×0.5)° (1)
By setting the predetermined angle θ so as to satisfy the formula (1), the wide-
例えば、広角レンズ114の画角X°が240°のときは、所定の角度θは20°、画角X1°は100°、画角X2°は140°となり、広角カメラ100は、水平方向120Hよりも上の50°の領域を含む、上下に広範な領域を撮影できる。広角レンズ114で撮影すると、撮影された像の端が歪むため、歪みを小さく撮影できる画角として10°小さい画角を設定したとしても、広角カメラ100は、水平方向120Hよりも上の40°の領域まで撮影できる。広角カメラ100が正姿勢のとき、撮影領域には、車両の後方向及び車室内が含まれる。撮影領域に車両の側方側の領域が含まれるとなおよい。
For example, when the angle of view X° of the wide-
なお、広角レンズ114は、ケース116に対して、鉛直下方向を挟んだ両側に所定の可変角度範囲内で角度調整が可能でもよい。例えば、車両のリアガラスに取り付けられた広角カメラ100において鉛直下方向を挟んだ両側とは、車両の前後方向でもよい。また、所定の可変角度範囲とは、例えば、広角カメラ100が上下に広範な領域を撮影できるように、広角レンズ114の光軸114Aを中心として、広角レンズ114の画角X°との関係で設定される可変角度の範囲でもよい。可変角度範囲は、例えば、広角レンズ114の画角が240°であり、広角レンズ114の光軸114Aの中心が20°傾いているときは、-20°<可変角度≦20°の範囲等でもよい。このとき、広角レンズ114は、ケース116に対して、鉛直下方向に対して操作面120の存在する側とは反対側に0°から40°の範囲内で角度調整が可能である。
The wide-
なお、可変角度範囲は、鉛直下方向を挟んで両側を含む範囲であればよく、例えば鉛直下方向を挟んで車両の前後に非対称の角度範囲でもよい。また、可変角度範囲は鉛直下方向から車両の前方向のみを範囲に含んでもよく、このように、鉛直下方向を挟んだ両側は、当該両側の一方が鉛直下方向である場合を含んでもよい。
この様にリア側を1つのカメラで実装すると、リア側のカメラを室内側のカメラと後方側のカメラの2つのカメラとする場合に比べて、コストダウン、設置の手間の軽減、小型化が可能となる。
The variable angle range may be a range that includes both sides of the vertically downward direction, and may be an asymmetric angle range in the front and rear of the vehicle with respect to the vertically downward direction, for example. In addition, the variable angle range may include only the front direction of the vehicle from the vertically downward direction in the range, and in this way, both sides sandwiching the vertically downward direction may include the case where one of the two sides is the vertically downward direction. .
When the rear side is mounted with one camera in this way, compared to the case where the rear side camera is two cameras, one for the indoor side and the other for the rear side, the cost can be reduced, the labor for installation can be reduced, and the size can be reduced. It becomes possible.
図8は、撮影機器101R及び車室内撮影用リアカメラ102を救急車両のリアハッチ取り付けた実施例である。
図8(a)は、救急車両のリアハッチが閉じた状態を示しており、図8(b)は、救急車両のリアハッチが開いた状態を示している。図8(b)の状態では、車室内撮影用リアカメラ102は、ストレッチャーや担架の救急車両内へ移動や、停車中の周囲の環境等を良好に撮影することができる。
FIG. 8 shows an embodiment in which a photographing
FIG. 8(a) shows a state in which the rear hatch of the ambulance is closed, and FIG. 8(b) shows a state in which the rear hatch of the ambulance is open. In the state of FIG. 8(b), the vehicle interior photographing
リアハッチは、車両後方に設けられた開口部を開閉する後方開閉部の一例である。リアハッチは、ハッチバックドア、リアハッチゲート、バックドア等とも呼ばれることもある。リアハッチは、閉状態では開口部を閉じ、開状態では開口部を開放する。開口部は、車両の内外を通じさせ、例えば、人の乗降や、荷物の出し入れ等に用いられる。図8に示されるようなリアハッチは、跳ね上げ式のリアハッチとも呼ばれ、上方へ開くタイプである。 A rear hatch is an example of a rear opening/closing part that opens and closes an opening provided at the rear of a vehicle. A rear hatch is also called a hatchback door, a rear hatch gate, a back door, or the like. The rear hatch closes the opening in the closed state and opens the opening in the open state. The opening allows communication between the inside and outside of the vehicle, and is used, for example, for boarding and alighting of passengers, loading and unloading of luggage, and the like. The rear hatch as shown in FIG. 8 is also called a flip-up rear hatch and is of the type that opens upward.
図8では、撮影機器101R及び車室内撮影用リアカメラ102が図示されているが、それらに代えて天球カメラ、或いは図7で説明したそれに準じる広角カメラを用いてもよい。
リアハッチなど跳ね上げ式のドアの内側に、例えば天球カメラ、或いはそれに準じる広角カメラ、を取りつけることにより、ハッチが開いた状態で、上からちょうど路上においたストレッチャーや担架の状態を撮影する構成とするとよい。
In FIG. 8, the photographing
For example, by attaching a celestial camera or a similar wide-angle camera to the inside of the flip-up door such as the rear hatch, the state of the stretcher or stretcher just placed on the road can be photographed from above with the hatch open. do it.
また、その後、ストレッチャーや担架に載せた人(患者)を車内に積み込む様子も半天球映像として撮影する構成とするとよい。
この実施例では、例えば救急車の出動時から現地への到着までは車室内撮影用リアカメラ102を作動させず、制御部303がハッチの開放を検出したことをトリガとして、車室内撮影用リアカメラ102による記録を開始する構成や、又は、撮影の設定や使用するレンズを変更する構成とするとよい。
Further, after that, it is preferable that the state of loading the person (patient) placed on the stretcher or litter into the vehicle is also photographed as a half-celestial image.
In this embodiment, for example, the vehicle interior photographing
この積み込みの折、路上あるいは担架上で、搬送する人(患者)の身元確認と、事故・病状の確認が行われるが、これは正確に伝わらないことが多く、また、往々にして結局最後まで事故状況は間違って伝わってしまうことも多い。
車室内撮影用リアカメラ102で撮影したビデオを病院や消防司令へ5G等で伝送することで、正確な情報を映像や音声で伝えることが可能となる。また、音声認識で自動的に文字起こしすることも有効である。
At the time of loading, the identity of the person (patient) to be transported and the accident/medical condition are checked on the road or on the stretcher. Accidents are often misrepresented.
By transmitting the video captured by the
車室内撮影用リアカメラ102が各種の生体反応を検出するセンサを有していると更に有利である。そのような構成では、更に、例えば患者に対して各種の医療モニタデバイスを取り付ける前でも、制御部303は、例えばサーモセンサによって検出された患者の体温データをいち早く医療モニタ802へ送信する構成とするとよい。また、制御部303が、映像データに同期して、それらの生体反応データを記憶すると更に有利である。
It is further advantageous if the
車室内撮影用リアカメラ102を用いて、ハッチが閉じた状態から、ハッチを空けて担架をおろし、担架に患者を載せ、患者を車内に運び入れ、ハッチを閉じ、車を動かして搬送するという一連の流れをすべて撮影する構成とするとよい。それにより、例えば患者を載せながら質問が行われたとしてもすべての状況を連続して撮影できる。
加えて、事故時に周囲にいた人も撮影できるので、事故原因の特定、犯人の特定にも利用できる。
Using the vehicle interior photography
In addition, since people who were in the vicinity at the time of the accident can also be photographed, it can be used to identify the cause of the accident and identify the culprit.
病院に到着して、救急車から患者を下ろすときもそのおろし方が適正だったか後から検証できるとともに、病院側への申し送り等が適切になされているか検証でき後にトラブルが起きたとき責任の主体を特定することが容易となる。 When the patient arrives at the hospital and unloads the patient from the ambulance, it can be verified later whether the unloading method was appropriate, and whether the transfer to the hospital has been properly done. Easy to identify.
天球カメラを跳ね上げ式のハッチに取り付ける構成では、ハッチを閉じたときは車内方向を中心軸とした180度天球を撮影し、ハッチを開いたときは天井から下方向を中心軸とした180度天球を撮影する構成とするとよい。
制御部303が、ハッチを開いた状態か、閉じた状態かを判定して、その時点を記録する機能を備えるとよい。望ましくはハッチを空けている途中か、締めている途中かも判定して記録する構成とするとよい。
In the configuration where the celestial camera is attached to the flip-up type hatch, when the hatch is closed, the celestial sphere is photographed 180 degrees centered on the inside of the vehicle, and when the hatch is opened, it is 180 degrees centered on the downward direction from the ceiling. A configuration for photographing the celestial sphere is preferable.
It is preferable that the control unit 303 has a function of determining whether the hatch is open or closed, and recording the point of time. Desirably, it is preferable to determine and record whether the hatch is being opened or closed.
更に、ハッチを開いた状態か、閉じた状態かに応じて、記録方式やカメラの設定を切り替える構成とするとよい。つまり、ハッチを開いた状態では屋外用の記録方式やカメラの設定を適用し、ハッチを閉じた状態では屋内用の記録方式やカメラの設定を適用するように、切り替えが行われることが好ましい。それにより、撮影環境や撮影状況の変化が大きい場合にも、確実に良好な映像データを記録することが可能となる。 Furthermore, it is preferable to switch the recording method and camera settings depending on whether the hatch is opened or closed. In other words, it is preferable to switch so that the outdoor recording method and camera settings are applied when the hatch is open, and the indoor recording method and camera settings are applied when the hatch is closed. As a result, it is possible to reliably record good video data even when there are large changes in the shooting environment and shooting conditions.
全天球カメラの場合、ハッチへの取り付け位置は、ハッチの窓部から一方のカメラが外側を撮影できる透明窓部にくるように、取り付けるとよく、例えば本体は窓のすぐ下の車内車体部分、カメラは上に飛び出して透明窓部分にくるような構成などにするとよい。左右方向は中央部とするとよい。 In the case of a omnidirectional camera, it is good to attach it to the hatch so that one of the cameras can be seen from the hatch window to the transparent window that can shoot the outside. , The camera should be configured so that it pops up and comes to the transparent window. The left-right direction should be the central portion.
このようにすれば、ハッチを閉じている状態(図8(a))では、一方のカメラが車内を撮影するとともに、他方のカメラが後方などの車外を撮影する。このときハッチの厚み部分がちょうど両カメラの堺に近くなるのでそれぞれのカメラ毎に映像をきれいに、例えば露出等を適正に、撮影することが容易になる。なおその際、両者の露出は合わせないようするとよい。 In this way, when the hatch is closed (FIG. 8A), one camera captures the interior of the vehicle and the other camera captures the exterior of the vehicle, such as the rear. At this time, since the thickness of the hatch is close to the border between the two cameras, it becomes easy to take clear images, for example, with proper exposure for each camera. In that case, it is better not to match the exposure of the two.
また、ハッチを開けた状態では一方のカメラはハッチ下で行われる様子を含め周囲の様子を撮影することができる。
他方のカメラは、空の方を撮影することになるが、火災や飛び降りなどでは上空方向の現場状況や、天気の状況を撮影することができる。
Also, when the hatch is open, one camera can shoot the surroundings, including the situation under the hatch.
The other camera will take pictures of the sky, but in the case of fires, jumps, etc., it is possible to take pictures of site conditions in the sky and weather conditions.
図8の構成において、半天球カメラを利用することも可能である。
半天球カメラの場合、ハッチへの取り付け位置は、ハッチの窓部のすぐ下の位置で、左右方向中央部とするとよい。
このようにすれば、ハッチを開いているときは、風雨の影響を受けにくいとともに、ハッチの下で行われる様子を含め周囲の様子を撮影することができる。
In the configuration of FIG. 8, it is also possible to use a semi-spherical camera.
In the case of a semi-spherical camera, it is preferable to attach the camera to the hatch at the center of the left-right direction just below the window of the hatch.
In this way, when the hatch is open, it is less likely to be affected by wind and rain, and it is possible to photograph the surroundings including the situation under the hatch.
車室内撮影用リアカメラ102からのデータは、他のカメラ(車内天井、隊員のウェアラブル、担架などに設けたカメラ)と同期をとって再生可能に記録ないし5G等でデータ伝送する構成とすることもできる。
The data from the
なお、車室内撮影用リアカメラ102は、車両後方外部を撮影する用途でも使用されることがあるが、少なくとも車室内を撮影する用途で使用されるから、「車室内撮影用リアカメラ」と称している。このような車室内撮影用リアカメラは、「車室内/車両後方外部兼用」として把握されてもよい。また、車室内撮影用リアカメラ102が第1のカメラ、カメラ402が第2のカメラとして把握されてもよい。なお、撮影機器101Fのカメラは第3のカメラとして把握されてもよい。
Note that the vehicle interior photographing
以上、車両が救急車であることを想定して説明を行ったが、本実施例の車両は、例えば、リアハッチなど跳ね上げ式の扉を跳ね上げて荷物や人を乗せる業務用車両や、キャッピングカーなどであってもよい。業務用車両としては、例えば、デイサービス(通所介護)等の所定の施設の利用者(例えば、高齢者や障碍者)の送迎に用いられる福祉車両や、パトカー等の緊急車両、郵便車両等の車両がある。また、キャッピングカーなどに例示されるように、リアハッチは、一般ユーザ向けの車両にも搭載されることもある。 In the above description, the vehicle is assumed to be an ambulance. and so on. Examples of business vehicles include welfare vehicles used to pick up and drop off users of prescribed facilities such as day care services (e.g., the elderly and disabled), emergency vehicles such as police cars, and mail vehicles. I have a vehicle. In addition, as exemplified by a capping car, the rear hatch may also be installed in vehicles for general users.
リアハッチは、例えば、ミニバンやハッチバック、ステーションワゴン等の車両に搭載されることがある。このような場合に、「患者」を「荷物」または「運転者など患者以外の搭乗者」等に置き換えるとよい。「運転者など患者以外の搭乗者」としては、例えば、車両が福祉車両である場合、所定の施設の利用者である。搭乗者の属性については、車両の用途によっても様々である。
それらの構成においても、荷物の積み込み時の状況、積み込まれた荷物の状態の変化、または、運転者など患者以外の搭乗者等の乗車時の状況、リアハッチを開放した状態で行っていた作業の様子等を記録する構成とするとよい。
Rear hatches are sometimes mounted on vehicles such as minivans, hatchbacks, and station wagons, for example. In such a case, the "patient" should be replaced with "luggage" or "passenger other than the patient, such as a driver". For example, when the vehicle is a welfare vehicle, the 'passenger other than the patient, such as a driver', is a user of a predetermined facility. The attributes of passengers vary depending on the use of the vehicle.
Even in those configurations, the situation at the time of loading luggage, the change in the condition of the loaded luggage, the situation when passengers other than patients such as the driver get in, and the work performed with the rear hatch open It is good to have the structure which records a state etc.
<リアハッチに設けられた撮影機器の他の実施の形態>
例えば、図8で説明した実施の形態と共通する思想に基づく実施の形態として、以下のようなものがある。続いて、図9を参照して、福祉車両である車両500を用いて、デイサービスの利用者U1の送迎を行う場合の実施の形態を説明する。図9では、車両500は、車椅子仕様の福祉車両である。撮影機器101Rのカメラは、半天球カメラ、或いはそれに準じる広角カメラで、その撮影範囲が図8(a)、(b)と同様である場合を例に挙げて説明する、車両500は、スロープやリフトによって車椅子を乗せる作業をスムーズにするための仕組みを有するとよいが、図示は省略してある。
<Another embodiment of the photographing device provided in the rear hatch>
For example, there is the following embodiment as an embodiment based on a concept common to the embodiment described with reference to FIG. Next, referring to FIG. 9, an embodiment in which a
図9(a)は、利用者U1が車両500に乗る前の様子を示す図である。利用者U1は車椅子501に座っている。支援者U2は、例えば老人ホームや病院といった施設の職員である。支援者U2は、例えば介護者、介助者又は看護師等である。支援者U2は、車椅子501を押したり、車椅子501とともに利用者U1を車両500に乗せたりする等、利用者U1を支援する。支援者U2は、例えば、利用者U1の自宅から車椅子501を押したまま、車両500の後方に移動する。
FIG. 9A is a diagram showing a state before user U1 gets into
図8で説明したのと同様に、車両500のリアハッチに設けられたバックガラス11の車室側に、撮影機器101Rが取り付けられている。撮影機器101Rの車室内撮影用リアカメラ102は、リアハッチが閉じられた閉状態では、車両500の車内方向に向けて、具体的には、車両後方から車両前方を撮影する。車室内撮影用リアカメラ102は、車内を後方から撮影することで、人の顔を撮影せずプライバシーを守りながら行動を撮影し、プライバシーに配慮した面もある。この実施の形態も、図8で説明したのと同様、積極的に人の挙動を撮影し、記録するという使い方をしている。
A photographing
図9(b)は、支援者U2が利用者U1を車両500に乗せようとする(つまり、乗車しようとする)ときの様子を示す図である。車両500のリアハッチが開けられた開状態となると、車室内撮影用リアカメラ102の撮影方向が変化する。車室内撮影用リアカメラ102は、リアハッチが開状態であるときは、車両500の後方外部を、下方に向けて撮影する。そのため、車室内撮影用リアカメラ102は、上からちょうど車両500の後方にいる利用者U1及び支援者U2の状態を撮影する。このように、支援者U2が利用者U1を車両500に乗せるときに、リアハッチが開状態になると、自ずと乗車時の状況を撮影、さらには記録するのに適切な範囲を撮影することができる。このような撮影画像は、例えば、利用者U1が暴れて転倒したとか、支援者U2の対応が適切であったかどうかを検証するのに有用である。
FIG. 9(b) is a diagram showing a situation when the supporter U2 tries to get the user U1 into the vehicle 500 (that is, tries to get into the vehicle). When the rear hatch of the
なお、図9(a)及び図9(b)では、支援者U2が利用者U1を車両500に乗せようとするときに、ドアハッチが開けられる場合を説明したが、図9(a)に示す段階でリアハッチが既に開状態とされる場合もある。この場合、もう少し早い段階から、車室内撮影用リアカメラ102が利用者U1及び支援者U2を撮影できる可能性がある。
9(a) and 9(b) explained the case where the door hatch is opened when the supporter U2 tries to get the user U1 into the
図9(c)は、利用者U1が車椅子501に座ったまま車両500に乗せられた後の様子を示す図である。車椅子501は台502の上に載せられる。台502には、車椅子をロックする(つまり、固定する)ための不図示の機構が設けられている。車椅子501は、その機構で台502に固定されることで、車両500の走行中に移動しないようになっている。利用者U1が車両500に乗せられた後は、車両500のリアハッチが閉じられ、閉状態となる。
FIG. 9(c) is a diagram showing a state after the user U1 is put on the
上述したように、車室内撮影用リアカメラ102は、リアハッチが閉じられた状態では、車両500の車内方向に向けて撮影する。この撮影範囲には、利用者U1が少なくとも含まれる。そのため、撮影機器101Rは、車室内撮影用リアカメラ102を用いて、移動中の利用者U1の様子を撮影し、さらには記録することができる。例えば、車両500の施設(例えば、老人ホームや病院)までの移動中に車内の状態を撮影、記録しておくことで、利用者U1と支援者U2との会話等のやりとりを、記録することができる。そのため、仮に、車両500での移動中に、暴言等の発言、ハラスメント行為といった何らかのトラブルが発生した場合であっても、後程その撮影画像を用いてそのトラブルを検証することができる。
As described above, the vehicle interior photographing
図9で説明した実施の形態によると、リアハッチに取り付けられた撮影機器101Rの車室内撮影用リアカメラ102により、そのときどきの状況に応じて適切な範囲を撮影することができる。ここでは、利用者U1を車両500に乗せるときの制御を説明したが、例えば施設への到着後、利用者U1を車両500から降ろすときにも、同様である。この場合、撮影機器101Rは、車室内撮影用リアカメラ102を用いて、利用者U1を降車させるときの状況を撮影し、記録することができる。
According to the embodiment described with reference to FIG. 9, the vehicle interior photographing
さらに、以下のような構成が採用されてもよい。
(A)図9(b)から図9(c)で説明した期間、つまり、利用者U1及び車椅子501が車両500に乗せられる期間においては、車両500のエンジンがオンされていることもあれば、オフされていることもある。そのような場合でも、例えば、上述した第10の例で説明した電源制御が行わる構成とすることで、撮影機器101Rは、車室内撮影用リアカメラ102を用いて、車両500のエンジンのオン/オフ、又はアクセサリ電源のオン/オフに関係なく、撮影し、記録をすることができる。
Furthermore, the following configuration may be adopted.
(A) During the period described in FIGS. 9B to 9C, that is, during the period in which the user U1 and the
(B)例えば撮影機器101Rが常時録画を行う場合のように、図9(a)~図9(c)で説明した期間にわたって、撮影及び記録をするようにしてよいが、図9(b)~(c)で説明した場合のように、車両500に乗車しようとするとき以降の様子を撮影及び記録するように構成してもよい。後者の場合、撮影機器101Rにおいて制御部303は、リアハッチが閉状態から開状態に変化した場合に、車室内撮影用リアカメラ102が撮影した画像の画像情報を記録するとよい。
(B) For example, as in the case where the
その記録の開始前に、撮影機器101Rの電源がオフされている状態、又は電源はオンされているが、撮影及び記録をすぐには開始できない状態(例えば、省電力モードの状態)である場合等には、制御部303は、まず、撮影機器101Rの電源をオンし、又は撮影及び記録を開始できる状態(例えば、通常動作モードの状態)に遷移させるとよい。その後、制御部303は、撮影及び記録を開始するとよい。あらかじめ撮影機器101Rの電源がオンされており、記録をすぐに開始できる状態である場合は、制御部303はその記録を直ちに開始させるよい。
When the power of the
リアハッチが閉状態から開状態に変化したことの判定方法を説明する。制御部303は、例えば、リアハッチのドア開検出信号に基づいて、リアハッチが閉状態から開状態に変化したと判定するとよい。リアハッチのドア開検出信号は、車両500のアクセサリ電源がオンされている場合において、リアハッチが開状態であることが検出されたときに、OBDII(「II」は「2」のローマ数字である。)コネクタから出力される信号である。又は、制御部303の外部又は内部に所定の回路を組んでおく等して、制御部303はリアハッチが閉状態から開状態に変化したことを判定してもよい。
A method for determining that the rear hatch has changed from the closed state to the open state will be described. For example, the control unit 303 may determine that the rear hatch has changed from the closed state to the open state based on the rear hatch door open detection signal. The rear hatch door open detection signal is OBDII (“II” is a Roman numeral of “2”) when it is detected that the rear hatch is open when the accessory power supply of the
制御部303は、例えば、加速度センサ305により検出された加速度に基づいて、リアハッチが閉状態から開状態に変化したことを判定してもよい。制御部303は、加速度情報を取得し、その加速度情報がリアハッチが開状態であるときの加速度を示した場合、又はその加速度情報がリアハッチが閉状態から開状態に変化するときの加速度の時間的な変化を示した場合に、リアハッチが閉状態から開状態に変化したと判定してもよい。このようにドア開検出信号によらない方法とすると、アクセサリ電源がオフされている場合でも、制御部303はリアハッチが閉状態から開状態に変化した場合に、撮影及び記録を行うことができる。例えば、リアハッチが開状態になる前に、アクセサリ電源がオフであったとしても、利用者U1の乗り入れの際の様子を撮影し、記録することができる。
The control unit 303 may determine that the rear hatch has changed from the closed state to the open state based on the acceleration detected by the
リアハッチが閉状態から開状態に変化したことを判定するための構成として、以下の構成を採用してもよい。車室内撮影用リアカメラ102にGセンサを設け、同じリアハッチに取り付けた後方向けカメラである撮影機器101RにGセンサ(例えば、加速度センサ305)を設けおく。そして、制御部303は、リアハッチが閉状態のときと開状態のときのGセンサの重力加速度方向(例えば、停車が前提で計測する)との一致度と、一致している時間(つまり、安定時間)から、リアハッチが開状態か、又は閉状態かを判定するとよい。又は、制御部303は、リアハッチが開けられるとき、又は閉じられるときの特徴的なGセンサの値の変化に基づいて、リアハッチが開いたこと、又は閉じたことを判定するとよい。特徴的なGセンサの値は、特に3次元的な値とするとよく、例えば3軸方向の加速度とするとよい。
As a configuration for determining that the rear hatch has changed from the closed state to the open state, the following configuration may be employed. A G sensor is provided in the
(C)(B)で説明した構成において、制御部303は、リアハッチが閉状態から開状態に変化したと判定した場合に、撮影機器101Rの電源オンから開始してもよいが、予め撮影機器101Rの電源がオンされていると、速やかに記録を開始することができる点で、望ましい。そのための構成として、撮影機器101Rは、録画待機機能を利用するとよい。録画待機機能は、指定した時間帯(以下「指定時間帯」という。)において撮影機器101Rが電源オンしており、所定のトリガがあった場合には、撮影画像の記録(以下「指定時間帯の録画」ということがある。)を開始するように待機する機能である。
In the configuration described in (C) and (B), when the control unit 303 determines that the rear hatch has changed from the closed state to the open state, the control unit 303 may start by turning on the power of the
録画待機機能を利用すると、アクセサリ電源がオンからオフに変化した場合、それまでに行っていた録画(例えば、常時録画)が停止するが、一方で、少なくとも指定時間帯内においては撮影機器101Rの電源がオフしない。アクセサリ電源がオフでも電源オンしておくために、撮影機器101Rは、常時電源からの電力供給を受けるとよいが(つまり、+B運用とするが)、二次電池312等の内部の電源や、外部のバッテリユニット等で、代替又はこれらを併用してもよい。
When the recording standby function is used, when the power supply of the accessory changes from on to off, the recording that has been performed so far (for example, constant recording) stops, but on the other hand, at least within the specified time period, the
本実施形態では、録画待機機能の指定時間帯を、利用者U1を送迎する時間帯を含むように、あらかじめ指定(つまり設定)しておくとよい。そして、制御部303は、録画待機機能を動作させておき、指定時間帯内において、リアハッチが閉状態から開状態になったと判定した場合には、撮影画像の記録を開始するとよい。このように、リアハッチが閉状態から開状態に変化したことをトリガとして、速やかに撮影画像の記録を開始することで、送迎時の状況をより確実に撮影することができる。 In this embodiment, it is preferable to designate (that is, set) in advance the designated time period of the recording standby function so as to include the time period during which the user U1 is picked up and dropped off. Then, the control unit 303 activates the recording standby function, and when it determines that the rear hatch has changed from the closed state to the open state within the designated time period, it is preferable to start recording the captured image. In this manner, the change of the rear hatch from the closed state to the open state is used as a trigger to immediately start recording the photographed image, so that the situation at pick-up and drop-off can be photographed more reliably.
(D)(C)の構成に代えて又は加えて、以下の構成により、送迎時の状況をより確実に撮影し、記録できるようにしてもよい。制御部303は、アクセサリ電源がオンされているときに撮影画像を記録している場合に(例えば、常時録画等)、アクセサリ電源がオフされると、直ちに車室内撮影用リアカメラ102により撮影した画像の記録を終了するのではなく、指定時間長だけ延長して画像を記録する(以下「指定時間延長録画」という。)とよい。指定時間の起算点は、例えばアクセサリ電源がオフされた時点とするとよい。車両500のバッテリへの悪影響を抑える上では、この方法が有利な場合がある、と発明者は考えた。
(D) Instead of or in addition to the configuration of (C), the following configuration may be used to more reliably photograph and record the situation during pick-up and drop-off. When the photographed image is being recorded while the accessory power is turned on (for example, continuous recording), the control unit 303 immediately shoots the image with the vehicle interior photographing
次に、実際の利用シーンを例示しつつ説明する。車両500が利用者U1の自宅に到着した場合、車両500のアクセサリ電源がオンからオフに変化させられたとする。この場合、撮影機器101Rの制御部303は、アクセサリ電源がオフになったことをトリガに、指定時間延長録画を開始する。このようにすると、これから乗車、又は降車しようという利用者U1や支援者U2の状況を、車室内撮影用リアカメラ102を用いて撮影し、記録することができる。指定時間は、例えば、製品出荷段階で予め指定されるとよい。
Next, an explanation will be given while exemplifying an actual usage scene. Assume that when
例えば、指定時間は、アクセサリ電源がオフされてから、利用者U1を車両500に乗せて、再びアクセサリ電源がオンされるまでに要する時間を考慮して指定されるとよい。指定時間は、例えば標準的な乗降に時間(例えば、エンジンを切って停車する停車時間)を考慮して指定されるとよい。例えば、デイサービスの送迎における停車時間としては、5分~10分程度掛かることが考えられる。ただし、車椅子用のスロープを作成して、乗降後車椅子を固定するロックを操作したり、利用者UIの家族と会話をしたり等、時間が長くなる要素が色々あることも考えられる。よって、指定時間は、支援者U2等の施設の職員等により、撮影機器101Rに対して指定する構成が採用されてもよい。
For example, the specified time may be specified in consideration of the time required from when the power of the accessory is turned off until the user U1 gets into the
指定時間延長録画は、以下のようにしてもよい。制御部303は、延長した指定時間内に、リアハッチが閉状態から開状態に変化したと判定した場合には、第1の指定時間長だけ延長した指定時間延長録画を行い、開状態にならず閉状態のままである場合は、第1の指定時間よりも短い第2の指定時間長だけ延長した指定時間延長録画を行ってもよい。第2の指定時間だけ行う指定時間延長録画は、第1の指定時間の指定時間延長録画を途中で打ち切る処理としてもよい。リアハッチが開状態にならない場合は、車両後方側の開口部を利用した乗車又は降車がないと推測され、車室内撮影用リアカメラ102の撮影画像を記録しなくてもよい状況であるともいえるからである。
The specified time extension recording may be performed as follows. When the control unit 303 determines that the rear hatch has changed from the closed state to the open state within the extended designated time, the control unit 303 performs the designated time extension recording extended by the first designated time length and does not open. When the closed state remains, the specified time extension recording may be performed by extending the second specified time length shorter than the first specified time. The specified time extension recording performed for the second specified time may be a process of stopping the specified time extension recording of the first specified time in the middle. If the rear hatch does not open, it is presumed that the passenger does not get in or out of the vehicle using the opening on the rear side of the vehicle, and it can be said that there is no need to record the image captured by the
(E)(C)又は(D)の構成のもとで、制御部303は、指定時間帯の録画、又は指定時間延長録画を行った場合は、指定時間帯の録画、又は指定時間延長録画であるか否かを識別するための識別情報を、撮影画像の画像情報に関連付けて(例えば、画像情報に付加して)、記録しておくようにするとよい。ビュアー等の、録画した映像を再生する機能を有するソフトウェアは、識別情報に基づいて、指定時間帯の録画、又は指定時間延長録画であるか否かをユーザに通知するための情報を出力する機能を備えるとよい。通知するための情報は、例えば表示情報とするよく、再生した映像の表示中に、その映像に重ねて又は同じ画面上に表示されるとよい。又は、このソフトウェアは、指定時間帯の録画、又は指定時間延長録画をした期間の画像を、検索可能にする機能を有するとよい。 (E) Under the configuration of (C) or (D), if the control unit 303 performs recording in the specified time period or extended recording for the specified time period, recording in the specified time period or extended recording for the specified time period It is preferable that the identification information for identifying whether or not is associated with the image information of the captured image (for example, added to the image information) and recorded. Software that has a function to play back recorded video, such as a viewer, has a function of outputting information to notify the user whether the recording is for a specified time period or for extended recording based on the identification information. should be provided. The information for notification may be display information, for example, and may be displayed on the same screen as or superimposed on the reproduced video while the video is being displayed. Alternatively, this software may have a function of making it possible to search for images recorded during a specified period of time or during a period of extended recording for a specified period of time.
(F)(D)の構成のもとで、撮影機器101Rは、アクセサリ電源のオフ後に指定時間延長録画をするか否かを、ユーザが設定可能な構成を備えるとよい。制御部303は、その設定に従って、アクセサリ電源のオフ後に、指定時間延長録画をするか否かを制御する。設定は、事前設定としておくとユーザの負担が少なくてよいが、アクセサリ電源をオフした機会毎にユーザが設定できるようにしてもよい。
(F) Under the configuration of (D), the
(G)(D)の構成のもとで、制御部303は、リアハッチが閉状態から開状態になった場合において、開口部を介して人の降車があると判定したときは、車室内撮影用リアカメラ102を用いて、指定時間延長録画を行うようにしてもよい。送迎時で考えると、車室内撮影用リアカメラ102を使用して、支援者U2が利用者U1の座った車椅子501を押して移動する様子を撮影することができるという意味がある。これは、車室内撮影用リアカメラ102により車室内で撮影していた対象を、後方車外方向でも引き続き撮影したい(つまり、見たい)という考えに基づく。
(G) Under the configuration of (D), when the control unit 303 determines that a person exits the vehicle through the opening when the rear hatch changes from the closed state to the open state, the vehicle interior photographing is performed. A specified time extension recording may be performed using the
制御部303は、アクセサリ電源がオンした状態で車両500が停車しているときに、リアハッチが閉状態から開状態になった場合、又はリアハッチが開状態から閉状態になった場合に、開口部を介して人の降車があると判定するとよい。また、後述するように、制御部303は、福祉車両である車両500に設けられた機構からの信号に基づいて、開口部を介して人の降車があると判定してもよい。
When the
制御部303は、開口部を介して人の降車があると判定したときと、人の乗車があると判定したときとで、指定時間延長録画の態様を異ならせてもよい。例えば、制御部303は、両者の記録時間を異なるようにするとよく、特に、乗車した場合は、降車した場合よりも、記録時間を短くするとよい。これは、降車時のほうが車外に人が居て、事故等が発生する可能性が相対的に高いため、そのような記録をより確実にするという考えに基づく。また、制御部303は、乗車した場合は、降車した場合よりも、品質の高い撮影画像を記録してもよい。品質としては、例えば、フレームレートや解像度等がある。 The control unit 303 may change the mode of the designated time extension recording depending on when it is determined that a person gets off the vehicle through the opening and when it is determined that a person gets on the vehicle. For example, the control unit 303 may set the recording time to be different between the two. In particular, when getting in the car, the recording time should be shorter than when getting off. This is based on the idea that such a record should be made more reliable when getting off the vehicle because there are people outside the vehicle and the possibility of an accident or the like occurring is relatively high. Also, the control unit 303 may record a captured image of higher quality when getting on the vehicle than when getting off the vehicle. Quality includes, for example, frame rate and resolution.
ところで、降車時における閉状態から開状態になったこと、又は降車時における開状態から閉状態になったことを判定するドアは、リアハッチ以外のドア、例えば運転席側のドア、又は助手席側のドアとしてもよい。このようにすると、搭乗者である支援者U2の後者に基づいて、指定時間延長録画を行うことができ、より利用者U1の乗降の際の様子を確実に撮影できる可能性がある。 By the way, a door other than the rear hatch, such as a door on the driver's seat side or a passenger's seat side, can be used to determine whether the door has changed from the closed state to the open state when getting off the vehicle or from the open state to the closed state when getting off the vehicle. can be used as a door. In this way, it is possible to perform extended recording for the specified time based on the latter of the supporter U2 who is a passenger, and there is a possibility that the state of the user U1 getting on and off can be captured more reliably.
(H)(D)の構成のもと、制御部303は、指定時間を設定する機能を有してもよい。ここでの指定時間の設定は、いわゆる自動設定である。制御部303は、例えば、降車時における車内又は車両周辺の状況を、車室内撮影用リアカメラ102で撮影された画像を認識することにより、特定するとよい。例えば制御部303は、車室内撮影用リアカメラ102により撮影された画像を画像認識することにより、車両500のリアハッチは開状態及び閉状態のどちらであるかを判定するとよい。また、制御部303は、車室内撮影用リアカメラ102により撮影された画像を画像認識することにより、利用者U1及び支援者U2の乗降に係る動作が行われているか否かや、その動作が終了したことを判定してもよい。制御部303は、これらの判定結果に基づいて、指定時間延長録画における指定時間を設定するとよい。
(H) Under the configuration of (D), the control unit 303 may have a function of setting a designated time. The setting of the specified time here is so-called automatic setting. The control unit 303 may specify, for example, the situation in the vehicle or around the vehicle when the passenger gets out of the vehicle by recognizing an image captured by the vehicle interior imaging
(I)制御部303は、車室内撮影用リアカメラ102で撮影された画像を認識することにより、車両500の車室内の搭乗者の有無の情報を、記録する画像情報に関連付けて(例えば、付加して)記録するとよい。制御部303は、記録する画像情報に、搭乗者の画像中の位置を示す情報を付加してもよい。その位置を示す情報は、例えば、搭乗者を指し示す矢印や、搭乗者の位置を囲む丸印などの図形等とするとよい。また、車椅子501が台502に固定されている等して、搭乗者が固定の位置に居る場合でも、搭乗者の画像中の位置が、リアハッチが開いているとき閉じているときとで異なる。よって、実際の搭乗者の位置(車椅子501の位置)を示す情報が記録されたり、表示されたりすると、ユーザにとっては画像から搭乗者の状況を把握しやすい。なお、搭乗者の位置については、上述した人検出センサを用いて検出されてもよい。
(I) The control unit 303 associates information on the presence or absence of passengers in the vehicle interior of the
(J)撮影機器101Rにおける指定時間帯の録画や、指定時間延長録画の録画終了条件としては、主に、指定時間帯が経過したこと、又は指定時間延長が経過したこととするとよいが、それ以外の条件があってもよい。条件としては、例えば、指定時間帯又は延長指定時間内に、ドアが開状態から閉状態になったこととするとよい。車室内を撮影し記録しない場合は、そのような運用としてもよい。また、指定時間帯の録画の記録時間が、利用者U1を車両500に乗せて、再びアクセサリ電源がオンされるまでに要する時間を考慮して指定されてもよい。例えば標準的な乗降に時間(例えばエンジンを切って停車する停車時間)を考慮した記録時間としてもよい。
(J) As a recording end condition for recording in the specified time zone or for the specified time extension recording in the
(K)(C)で説明した指定時間帯の録画に関し、制御部303が指定時間帯を設定してもよい。利用者UIの自宅と施設のような、車両の異なる拠点同士の往復のパターンが決まっており、車両の運行のスケジュールが決まっている場合、又は運行予約の予約データが存在したりする場合等には、制御部303は、そのスケジュール又は予約データに基づいて、拠点への到着予定時刻を指定時間帯に含めるように設定してもよい。 (K) Regarding the recording in the designated time period described in (C), the control unit 303 may set the designated time period. When the pattern of round trips between different bases of vehicles, such as the user's UI home and facilities, is determined, and when the schedule of vehicle operation is determined, or when there is reservation data for operation reservation, etc. Alternatively, the control unit 303 may set the scheduled time of arrival at the base to be included in the specified time period based on the schedule or reservation data.
(L)(C)で説明した指定時間帯の録画は、上述した送迎以外の用途にも適用することができる。例えば、車両が所定の場所(例えば、施設)に立ち寄る時刻又はその目安の時刻が決まっているような用途とするとよい。例えば、荷物の宅配を行う配送員は、決められたルート従って配送を行うルート配送を行うことがある。この場合、配送員が荷物を取り出すときにリアハッチが開状態となり、開状態としたまま配送員が荷物を配達にしに行った場合にも、車両外側後方の状況を撮影し、記録することができ、荷物の防犯上望ましい。なお、この場合の車両は、配送員が自ら押し動かすカートや荷台を備えた自転車等であってもよく、そのような構成では、リアハッチはカートや荷台に付属のカバー部材や蓋部材に読み替えられる。 (L) and (C) can also be applied to applications other than pick-up and drop-off described above. For example, it may be used in applications where the time at which the vehicle stops at a predetermined place (for example, a facility) or the estimated time is fixed. For example, a delivery person who delivers packages may perform route delivery, in which delivery is made according to a predetermined route. In this case, when the delivery staff takes out the package, the rear hatch is opened, and even if the delivery staff goes to deliver the package while it is open, the situation behind the outside of the vehicle can be photographed and recorded. , is desirable in terms of security of luggage. In this case, the vehicle may be a cart or a bicycle equipped with a bed that the delivery person pushes by himself. .
(M)図10及び図11は、車室内撮影用リアカメラ102で撮影される画像を説明する図である。図10(a)及び図11には、軽ワゴンのリアハッチに、図8、9で説明したようにして、車室内撮影用リアカメラ102を取り付けられた場合の撮影画像の一例が示してある。図10(a)は、リアハッチを閉状態としたときの撮影画像を示す図である。図10(b)は、リアハッチを閉状態としたときの撮影範囲を示す図である。
(M) FIGS. 10 and 11 are diagrams for explaining an image captured by the vehicle interior capturing
図10(a)に示すように、リアハッチを閉状態とした場合、車室内を後方から車内向けに撮影することで、人の顔を撮影せずに、プライバシーを守りながら、その人の行動を撮影することができる。運転席の上方にはみ出した頭部が写っているので、その車内の人の状況を撮影画像から把握することができる。図10(b)に示すように、リアハッチが開状態である場合、ほぼ鉛直方向に、車室内撮影用リアカメラ102の光軸方向が延びており、略円錐形状の撮影範囲が確保される。ただし、車室内側は、車両の床が地面よりも高い位置に存在するため、床の高さ位置までの撮影範囲となっている。図10からも分かるように、リアハッチが開状態であるときも、撮影機器101Rは風雨の影響を受けにくくして、車室内撮影用リアカメラ102を用いてリアハッチの下方の様子を含む車両外側後方の様子を撮影することができる。
As shown in FIG. 10(a), when the rear hatch is in the closed state, by photographing the inside of the vehicle from the rear toward the inside of the vehicle, the behavior of the person can be captured while protecting the privacy of the person without photographing the person's face. You can shoot. Since the head protruding above the driver's seat is photographed, the situation of the person in the vehicle can be grasped from the photographed image. As shown in FIG. 10B, when the rear hatch is in the open state, the optical axis direction of the vehicle interior photographing
図11は、リアハッチを開状態としたときの車室内撮影用リアカメラ102の撮影画像を示す図である。図11(a)はリアハッチ開状態時(横寸法)、図11(b)はリアハッチ開状態時(縦寸法車外)、図11(c)はリアハッチ開状態時(縦寸法車内)を示す図である。このように、開状態においては、リアハッチの下方、及び車内の後方側寄りの部分が撮影範囲に含まれていることが分かる。このように、車室内撮影用リアカメラ102を用いて、車外のリアハッチの下方、及び車内の後方側寄りの部分を撮影することができる。
FIG. 11 is a diagram showing an image captured by the vehicle interior imaging
車両の前方からフロントから撮影する室内カメラや半球カメラでは、運転者前方から撮影されるため、搭乗者は、自身が監視されているような感覚になることがある。また、車両にはルームミラーが設けられているため、ルームミラー越しのサイドガラスからは映像は見えない、又は見えにくい。これら解消するため、車室内を後方側から撮影している。車室内撮影用リアカメラ102では、搭乗者は後ろから撮影されているため、監視されている感がなく、車内の映像を記録でき、サイドガラスから外の映像は物の干渉が少なくはっきりとした撮影ができる。
An indoor camera or a hemispherical camera that shoots from the front of the vehicle shoots from the front of the driver, so the passenger may feel as if he or she is being monitored. In addition, since the vehicle is provided with a rearview mirror, the image cannot be seen or is difficult to see through the side glass through the rearview mirror. In order to solve these problems, the interior of the vehicle is photographed from the rear side. In the
さらに、図10、図11に示すように、車室内撮影用リアカメラ102は、360度カメラ等と比較すると、視野角が狭い場合がある。そのため、車室内撮影用リアカメラ102で撮影した運転席と助手席の窓の外の映像は、360度カメラ等を用いた場合よりも、映像が大きく、解像度も高く、ユーザにとっては、撮影画像の内容を見やすくなることが考えられる。
Furthermore, as shown in FIGS. 10 and 11, the vehicle interior photographing
(N)リアハッチへの車室内撮影用リアカメラ102に関する訴求について
例えば、リアハッチへの車室内撮影用リアカメラ102に関する訴求については、例えば、以下のようなものがある。
(N) Appeals to the Rear Hatch Regarding the Vehicle Interior
撮影機器101R(車室内撮影用リアカメラ102)を取り付ける車両は、上述した救急車や福祉車両のほか、パトカー等の緊急車両、荷物の配送業者の車両(配送車両)、郵便車両等としてもよい。このようにすると、車両後方で人や荷下ろしをする車両にて、リアハッチを開けると、荷物や人の荷下ろしをするところが撮影される。また、荷物の宅配を行う配送員が荷物を取り出すときにリアハッチが開状態となり、開状態としたまま配送員が荷物を配達にしに行った場合にも、車両外側後方の状況を撮影し、記録することができ、荷物の防犯上望ましい。また、郵便局員が荷物おろしをしているときにひったくりがあったような場合でも、撮影されているため、犯人逮捕に貢献することもできる。
The vehicle to which the photographing
また、一般ユーザにおいても同様に荷物下ろしをしているときにひったくりがあったような場合でも撮影できる。また、例えばスーパーの駐車場で荷物を運ぶのに、リアハッチを開けたまま、離れた場所に行くことがある。例えば、一般ユーザが、離れた場所に荷物を取りに行く、自宅から持ってきたダンボール箱を処分しに行ったり、スーパーから戻ってきて車両に荷物を運んだり場合がある。このような場合、数分リアハッチが開状態のままのいなっていることもよくある。このような利用がなされた場合でも、撮影機器101Rの存在による防犯効果が期待できるので、いわゆるコンシューマ向けでの利用のメリットも十分に想定される。
In addition, it is also possible for a general user to take a picture even when a snatch is made while unloading luggage. Also, for example, when carrying luggage in a supermarket parking lot, I sometimes go to a remote place with the rear hatch open. For example, a general user may go to a distant place to pick up a package, go to dispose of a cardboard box brought from home, or return from a supermarket and carry a package to a vehicle. In such cases, the rear hatch is often left open for several minutes. Even if such a use is made, the presence of the photographing
(O)さらに、以下のような構成が採用されてもよい。
(O-1)撮影機器101Rのカメラ402、車室内撮影用リアカメラ102、及び撮影機器101Rのカメラ(図示略)は、例えば、それぞれFULL HDの画質として、1080Pの解像度で画像を記録するとよい。このようにすると、3つのカメラで均質な画像、例えば高解像度の画像を記録することができる。
(O) Furthermore, the following configuration may be adopted.
(O-1) The
(O-2)撮影機器101Rのカメラ402、車室内撮影用リアカメラ102、及び撮影機器101Rという、画角の異なるカメラの映像を時刻同期して再生する機能を備えるビュアーにおいて、最も狭い画角のカメラの画角に他のカメラの映像の再生時の画角を合わせるボタンを備えたビュアーが提供されるとよい。
(O-2) The narrowest angle of view in a viewer having a function of time-synchronizing and playing back images of cameras having different angles of view, namely, the
ビュアーは、これら3つのカメラのうち、カメラ402(車両後方の撮影用)の画角が一番狭いとすると、ボタンを押すと、撮影機器101Fと、車室内撮影用リアカメラ102の映像の画角が、カメラ402)の画角に変化するようにするとよい。このようにすると、各カメラの見えている範囲の対応関係が分かりづらいという課題を解決できる。
Assuming that the camera 402 (for photographing the rear of the vehicle) has the narrowest angle of view among these three cameras, when the viewer presses the button, the image of the photographing
(O-3)ビュアーは、再生中の映像の画角を変更する機能を備えるビュアーであって、現在最も狭い画角に設定されているカメラの映像の画角に他のカメラの映像の画角を1ボタンで変更する機能を備えるビュアーが提供されるとよい。 (O-3) The viewer is a viewer having a function to change the angle of view of the image being played back, and the angle of view of the image of the camera currently set to the narrowest angle of view is used to match the image of another camera. A viewer with the ability to change corners with one button should be provided.
(O-4)上述した説明において「ビュアー」としたところは、ルームミラーに取り付けて使用されるルームミラー型のドライブレコーダ本体と読み替えてもよく、(O-1)~(O-3)は種々の装置に適用可能である。 (O-4) The "viewer" in the above description may be read as a rearview mirror type drive recorder main body attached to a rearview mirror, and (O-1) to (O-3) are Applicable to various devices.
(P)車両の開閉部の開閉動作をトリガとした映像の撮影又は記録の設定の変更
上述したような、車両の開閉部の開閉動作をトリガとして、映像の撮影又は記録の設定を変更することに関し、以下のような構成が採用されるとよい。映像の撮影又は記録の設定に関しては、どのカメラで撮影した画像を記録するのかという録画の有無と、どのカメラをどのようなフレームレート、解像度等の品質で記録するのかという録画の品質、という観点がある。
(P) Change of video shooting or recording settings triggered by the opening/closing operation of the opening/closing part of the vehicle. Regarding, the following configuration should be adopted. Regarding the setting of video shooting or recording, the viewpoint of whether or not to record images taken by which camera, and the quality of recording such as which camera to record with what kind of frame rate, resolution, etc. There is
状況としては、(P-1)リアハッチの開閉動作、(P-2)車両が走行中、(P-3)車両の前方側を撮影したい場合、(P-4)車両のエンジンがオン又はアクセサリ電源がオンである場合、(P-5)車両のエンジンがオフ又はアクセサリ電源がオフであるが、指定時間帯内の録画を行う場合、(P-6)車両のエンジンオフ又はアクセサリ電源オフからの指定時間延長録画の場合、(P-7)車両のエンジンがオン又はアクセサリ電源がオンであるが、指定時間帯内の録画を行う場合等がある。 The situations are (P-1) opening and closing the rear hatch, (P-2) the vehicle is running, (P-3) you want to shoot the front side of the vehicle, (P-4) the vehicle engine is on or an accessory If the power is on, (P-5) the vehicle engine or accessory power is off, but if you want to record within the specified time period, (P-6) from the vehicle engine or accessory power off In the case of the specified time extension recording, (P-7) the vehicle engine is on or the accessory power is on, but there are cases where recording is performed within the specified time zone.
制御部303は、これらの状況のうちの全部又は一部について、状況毎に、映像の撮影又は記録の設定を行う機能を有するとよい。また、制御部303は、これらのうち2つ以上の状況について共通の設定を行う機能を有してもよい。映像の撮影又は記録の設定は、ユーザにより手動で設定されてもよいが、予め又は製品出荷段階後にユーザの手動設定ではない方法で設定(例えば、自動設定)されてもよい。 The control unit 303 preferably has a function of setting video shooting or recording for each of all or part of these situations. Also, the control unit 303 may have a function of making common settings for two or more of these situations. The settings for image capturing or recording may be manually set by the user, but may also be set (for example, automatically set) in a manner other than the user's manual settings in advance or after the product shipping stage.
ユーザの手動設定ではない方法で設定する場合、例えば、以下のように、映像の撮影又は記録の設定が行われるとよい。以下の説明において、相対的に高い品質で録画するカメラが2つある場合、又は相対的に低い品質で録画するカメラが2つある場合、それらの品質は同一とするとよいが、異なっていてもよい。以下では、制御部303が品質の判断等の録画に関する制御を司るが、撮影機器101Fの制御部(例えば、後述する制御部5511)等が行ったり、別の主体が行ったりしてもよい。
When setting by a method other than the user's manual setting, for example, it is preferable to set video shooting or recording as follows. In the following description, if there are two cameras that record with relatively high quality or two cameras that record with relatively low quality, the quality should be the same, but they may be different. good. In the following description, the control unit 303 controls recording such as quality judgment, but the control unit (for example, the
(P-1)リアハッチの開閉動作
リアハッチが開状態のときには、リアハッチの周辺を後で確認したい状況が生じることがあるから、リアハッチの周辺を品質良く録画するとよい。そのために、車室内撮影用リアカメラ102での録画の品質を相対的に高くして録画するとよい。例えば、リアハッチが開状態のときは、撮影機器101Fは前方を、撮影機器101Rは後方を相対的に低い品質で(例えば、粗く)撮影して、車室内撮影用リアカメラ102は、相対的に高い品質で(例えば、細かく)撮影するとよい。撮影機器101F及び101Rのカメラ402、車室内撮影用リアカメラ102よりも品質の低い録画を行うようにすると、車両の周辺の状況を広範囲で確認できる。
(P-1) Opening and Closing Operation of Rear Hatch When the rear hatch is in the open state, a situation may arise in which the driver wants to check the area around the rear hatch later, so it is preferable to record the area around the rear hatch with good quality. For this reason, the quality of recording by the
撮影機器101F及び101Rの少なくとも一方が、録画を停止してもよい。撮影機器101Rのカメラ402は、車両の外側後方を撮影する機器であることから、その撮影画像については、車室内撮影用リアカメラ102よりも低い品質で録画を継続してもよい。又は、撮影機器101Rはその撮影方向が真上付近となるから、撮影機器101Rのカメラ402の撮影画像については録画を停止し、撮影機器101Fは録画をするようにしてもよい。
At least one of the
(P-2)車両の走行中
車両の走行中は、車両の外、本実施形態では、車両の前方、後方又はこれらの両方を後で確認した状況が生じる必要性が高いから、車両の外を品質良く録画するとよい。そのために、撮影機器101F、及び撮影機器101Rのカメラ402の撮影画像の品質を相対的に高くして録画するとよい。例えば、車両の走行中は、撮影機器101Fは前方を、撮影機器101Rのカメラ402は後方を相対的に高い品質で(例えば、細かく)撮影するとよい。
(P-2) While the vehicle is running While the vehicle is running, it is highly necessary to check the outside of the vehicle, in this embodiment, the front of the vehicle, the rear of the vehicle, or both. should be recorded in good quality. Therefore, it is preferable that the quality of the images captured by the
車両の走行中は、典型的には、リアハッチは閉状態である。そこで、車室内撮影用リアカメラ102は、車室内を相対的に低い品質で(例えば、粗く)撮影するとよい。車両が走行であることは、制御部303が車両の車両速度に基づいて特定するとよい。制御部303は、例えば、GNSSセンサ307を用いて取得した位置情報の変化に基づいて車両速度を特定し、車両速度が所定速度(例えば、8km)以上である場合に、走行中と判定してもよい。また、制御部303は、車両から情報を取得できる場合は、OBDIIコネクタを介して車両速度を取得するとよい。
While the vehicle is running, the rear hatch is typically closed. Therefore, the vehicle interior photographing
(P-3)車両の前方側を撮影したい場合
車両の前方側としては、車両の車室内における前方側の領域、車両の外の前方側の領域、又はこれらの両方を含む領域がある。例えば、車両の運転席及び助手席の周辺、又は/及び車両の外の前方側の領域の状況を後で確認したい場合がある。そこで、車両前方側を品質良く録画するとよい。そのために、車室内における前方側の領域を相対的に品質良く録画したい場合は、車室内撮影用リアカメラ102は、撮影機器101F及び撮影機器101Rのカメラ402よりも、高い品質で撮影画像を録画するとよい。
(P-3) When it is desired to photograph the front side of the vehicle The front side of the vehicle includes a front area in the interior of the vehicle, a front area outside the vehicle, or an area including both of them. For example, it may be desired later to check the conditions around the driver and passenger sides of the vehicle and/or the front area outside the vehicle. Therefore, it is preferable to record the front side of the vehicle with good quality. Therefore, when it is desired to record the front side area in the vehicle interior with relatively high quality, the vehicle interior photographing
車両の外の前方側の領域を相対的に品質良く録画したい場合は、撮影機器101Fは、車室内撮影用リアカメラ102及び撮影機器101Rのカメラ402よりも、高い品質の撮影画像を録画してもよい。車両の車室内における前方側の領域、及び車両の外の前方側の領域を相対的に品質良く録画したい場合は、撮影機器101F及び車室内撮影用リアカメラ102は、撮影機器101Rのカメラ402よりも、高い品質の撮影画像を録画してもよい。撮影機器101Rは録画を停止してもよいが、相対的に低い品質で録画をしてもよい。
When it is desired to record an area on the front side outside the vehicle with relatively high quality, the photographing
(P-4)車両のエンジンがオン又はアクセサリ電源がオンである場合
車両のエンジンがオン又はアクセサリ電源がオンである場合において、車両が走行中でないときは、車両が停車中、例えば駐車中であることが考えられる。そこで、車両の外を品質良く録画するとよい。そのために、撮影機器101F、及び撮影機器101Rのカメラ402の撮影画像の品質を相対的に高くして録画するとよい。車室内撮影用リアカメラ102は、録画を停止してもよいが、車室内を相対的に低い品質で撮影するとよい。
(P-4) When the vehicle engine is on or the accessory power supply is on When the vehicle engine is on or the accessory power supply is on and the vehicle is not running, the vehicle is stopped, for example parked. Something is possible. Therefore, it is better to record the outside of the vehicle with good quality. Therefore, it is preferable that the quality of the images captured by the
(P-5)車両のエンジンがオフ又はアクセサリ電源がオフであるが、指定時間帯内の録画を行う場合
車両のエンジンがオフ又はアクセサリ電源がオフであるが、指定時間帯内の録画を行う場合、上述したように、送迎等の目的で、リアハッチの周辺の状況を後で確認したい場合があるから、リアハッチの周辺の撮影画像を品質良く録画するとよい。そのために、車室内撮影用リアカメラ102の撮影画像の品質を相対的に高くして録画するとよい。例えば、車室内撮影用リアカメラ102は相対的に高い品質で撮影して、撮影機器101F及びカメラ402は、相対的に低い品質の撮影画像を録画するとよい。撮影機器101F及びカメラ402の少なくとも一方の撮影画像の録画を停止してもよい。
(P-5) When the vehicle engine is off or the accessory power is off, but recording is performed within the specified time period The vehicle engine is off or the accessory power is off, but recording is performed within the specified time period In this case, as described above, the situation around the rear hatch may be desired to be checked later for the purpose of picking up and dropping off, etc., so it is preferable to record the captured image around the rear hatch with good quality. For this reason, the quality of the image captured by the
また、車両のエンジンがオフ又はアクセサリ電源がオフであるから、電力の消費を抑えるために、(P-4)で説明した場合よりも、少なくとも一つのカメラについて低品質の録画にして、低消費電力化を実現してもよい。 In addition, since the vehicle engine is off or the accessory power supply is off, in order to reduce power consumption, at least one camera is recorded at a lower quality than in the case described in (P-4), and low power consumption is achieved. Electrification may be realized.
(P-6)車両のエンジンオフ又はアクセサリ電源オフからの指定時間延長録画の場合
車両の駆動源がオフ又はアクセサリ電源がオフからの指定時間延長録画を行う場合も、上述したように、送迎等の目的で、リアハッチの周辺の状況を後で確認したい場合があるから、リアハッチの周辺を品質良く録画するとよい。その録画制御については、例えば(P-5)と同じとするとよいが、異なっていてもよい。
(P-6) In the case of extended recording for a specified time after the vehicle engine is turned off or accessory power is turned off When performing extended recording for a specified time after the vehicle drive source is turned off or the accessory power is turned off, For this purpose, you may want to check the situation around the rear hatch later, so it is good to record the area around the rear hatch with good quality. The recording control may be the same as (P-5), for example, but may be different.
(P-7)車両のエンジンがオン又はアクセサリ電源がオンであるが、指定時間帯内の録画を行う場合
車両のエンジンがオン又はアクセサリ電源がオンであるが、指定時間帯内の録画を行う場合も、上述したように、送迎等の目的で、リアハッチの周辺の状況を後で確認したい場合があるから、リアハッチの周辺を品質良く録画するとよい。その場合、録画制御については、例えば(P-5)と同じとするとよいが、異なっていてもよい。又は、指定時間帯内である場合に、車両の駆動源がオン又はアクセサリ電源がオンである場合は、車両からの電力の供給を受けられるため、(P-6)の場合よりも少なくとも一部のカメラについて高品質の録画をしてもよい。
(P-7) When the vehicle engine is on or the accessory power is on, but recording is performed within the specified time period The vehicle engine is on or the accessory power is on, but recording is performed within the specified time period Even in this case, as described above, it is desirable to record the surroundings of the rear hatch with high quality, because the situation around the rear hatch may be desired to be checked later for the purpose of picking up and dropping off. In that case, the recording control may be the same as (P-5), for example, but may be different. Alternatively, if the vehicle drive source is on or the accessory power supply is on during the specified time period, power can be supplied from the vehicle, so at least part of the cameras may record in high quality.
このように、制御部303は、いろいろな組み合わせによって映像の品質を可変する機能を備えるとよい。なお、制御部303は、(P-1)~(P-7)で説明したような複数の状況のうち、2つ以上の状況を同時に満たした場合は、ユーザの指定より又はその指定なしにいずれかの状況に応じた制御を行ってもよい。又は、制御部303は、2つ以上の状況を同時に満たした場合は、より品質の高い録画を優先してもよい。 In this way, the control unit 303 preferably has a function of varying the quality of video with various combinations. Note that, when two or more of the plurality of situations described in (P-1) to (P-7) are satisfied at the same time, the control unit 303 may or may not be specified by the user. Control may be performed according to either situation. Alternatively, the control unit 303 may prioritize recording with higher quality when two or more conditions are satisfied at the same time.
(Q)車室内の音声を収音するためのマイクロホンが、前方本体である撮影機器101Fと、撮影機器101R及び車室内撮影用リアカメラ102の一方または両方とに搭載されるとよい。そして、制御部303は、撮影機器ごと又はカメラごとに、記録する音声の設定を行ってもよい。記録する音声の設定は、ユーザにより手動で設定されてもよいが、予め又は製品出荷段階後にユーザの手動設定ではない方法で設定(例えば自動設定)されてもよい。予め又は製品出荷段階後にユーザの手動設定ではない方法で設定する場合、例えば、以下のように、設定が行われるとよい。
(Q) A microphone for picking up sounds in the vehicle interior may be mounted on the
(Q-1)制御部303は、車両に人が乗っていると判定した場合には、乗っていると判定しなかった場合、又は乗っていないと判定した場合よりも、高品質の録音をするように設定するとよい(例えば、細かくとって録音するとよい)。このようにすると、人の音声を高品質に録音できるので、後でその音声の内容を確認しやすい、 (Q-1) When the control unit 303 determines that a person is riding in the vehicle, the control unit 303 makes a higher-quality sound recording than when it is determined that the vehicle is not ridden or not. (For example, it is better to record in detail). By doing this, you can record the voice of a person with high quality, making it easier to check the content of the voice later.
(Q-2)(Q-1)の構成のもと、制御部303は、例えば、カメラ又はマイクの位置から、所定範囲内に人が乗っていると判定した場合には、その所定範囲内に人が乗っていると判定しなかった場合、又は乗っていないと判定した場合よりも、高品質の録音をするように設定してもよい。このようにすると、車室内が大きいような場合であっても、人の音声が収音できる状況で高品質に録音することができる。 (Q-2) Under the configuration of (Q-1), for example, when the control unit 303 determines that a person is riding within a predetermined range from the position of the camera or microphone, It may be set so that the recording quality is higher than when it is determined that no person is on the vehicle or when it is determined that there is no person on the vehicle. By doing so, even in a case where the vehicle interior is large, high-quality recording can be performed in a situation where human voices can be picked up.
(Q-3)映像を再生する機能を有するビュアー等のプログラムは、すべてのマイクに入力された音声を同時に記録しておき、記録した映像の再生時には、どのマイクを用いて録音した音声を出力するかを選択する機能を備えるとよい。選択は、ユーザによる手動選択でもよいが、手動選択無しに選択(例えば、自動選択)としてもよい。後者の場合、プログラムは、高品質の録音をしたマイクロホンの音声を選択して出力するとよい。 (Q-3) A program such as a viewer that has a function to play back video records the voice input to all microphones at the same time, and when playing back the recorded video, which microphone is used to output the recorded voice. It is preferable to provide a function for selecting whether to The selection may be a manual selection by the user, or may be a selection without manual selection (eg, automatic selection). In the latter case, the program should select and output high-quality microphone sound recordings.
(Q-4)リアハッチが開状態である場合、撮影機器101Rのカメラ402又は車室内撮影用リアカメラ102のマイクロホンを中心に録音し、リアハッチが閉状態である場合、特に、車両の走行中である場合は、撮影機器101Fを中心に録音するとよい。中心に録音することは、そのマイクロホンのみで録音することとしてもよいが、それ以外のマイクロホンを使用しての録音も行い、録音するときのレベルについては中心とするマイクロホンの音声のレベルが相対的に高くなるようにしてもよい。なお、録音するときのレベルの調整について説明したが、再生時にレベルを調整してもよい。
(Q-4) When the rear hatch is open, the
図12は、取付具を用いた撮影機器101R及び車室内撮影用リアカメラ102の接続を説明する説明図の例である。
取付具901は、第1の取り付け部位902、第2の取り付け部位903、固定手段904を有している。
FIG. 12 is an example of an explanatory diagram illustrating the connection of the photographing
The
第1の取り付け部位902は、C形状の断面を有しており、C形状部分の弾性力に基づいて撮影機器101Rをクランプする構成とするとよい。
第2の取り付け部位903はパイプ状に形成されており、その内径は車室内撮影用リアカメラ102の外形よりもわずかに大きく形成されている。第2の取り付け部位903内に挿入された車室内撮影用リアカメラ102は、円周方向及び上下方向で容易に方向調整可能であり、ユーザは、例えば螺子などの固定手段904を用いて、所望の状態で車室内撮影用リアカメラ102を固定することができる。
The
The
この構成では、ユーザは非常に容易に、既存の撮影機器101Rに対して、車室内撮影用リアカメラ102を取り付け、固定することができる。
また、取り付け部位902がパイプ状に形成されているため、例えばリアウインドウに接着した撮影機器101Rに対して、取付具901をパイプの軸に対して回転させることで、取付具901の方向を変更することが可能である。
また、取り付け部位903がパイプ状に形成されているため、取付具901に対して、車室内撮影用リアカメラ102をパイプの軸に対して回転させることで、撮影方向を変更することが可能である。
With this configuration, the user can very easily attach and fix the vehicle interior photographing
In addition, since the mounting
In addition, since the mounting
図13は、取付具を用いた撮影機器101R及び車室内撮影用リアカメラ102の接続を説明する説明図の別の例である。
図示されたパイプ状の取付具1001は、3つのジョイント部(開口部)1002を有しており、それらのジョイント部1002のそれぞれは、円筒形のカメラを差し込むことができるように、各々の円弧部分を有するリアカメラの少なくとも一方の端の外径をパイプジョイントの内径と一致するかやや大きく設定すると有利である。それにより、穴にリアカメラを嵌めることができる。例えば穴が2つパイプ状の取付具には2台、3つのパイプ状の取付具には2台か3台のリアカメラを取り付けることができる。
図12の場合と同様に、車室内撮影用リアカメラ102は円周方向及び上下方向で容易に位置や方向を調整可能である。
FIG. 13 is another example of an explanatory diagram for explaining the connection of the photographing
The pipe-shaped
As in the case of FIG. 12, the
図13の実施例では、撮影機器101Rへ車室内撮影用リアカメラ102の取り付けにいわゆるパイプジョイント方式を採用することが可能となり、ユーザは完結且つ直感的に情報処理システム対して追加の車室内撮影用リアカメラ102を取り付けることが可能となる。また、追加の車室内撮影用リアカメラ102の撮影機器101Rに対する相対位置又は追加の車室内撮影用リアカメラ102の撮影方向を変更することで、容易に所望の映像を撮影できるように調整することが可能となる。
In the embodiment of FIG. 13, it is possible to adopt a so-called pipe joint method for attaching the vehicle interior photographing
パイプ状の取付具1001の内部に、カメラ間の電気的な接続を担うケーブルを収容してもよい。それにより、ケーブルが露出した構成に比べて、不測の接触等によりケーブルが抜ける事態避けることができる。
取付具1001には、様々な形状や開口部の位置関係が設計可能であり、また、望まれる取付状態によっては延長パイプを用いることもできる。取付具1001の好ましい形状については、図15に図示する。
A cable for electrical connection between cameras may be accommodated inside the pipe-shaped
Various shapes and positions of openings can be designed for the
パイプ状の取付具1001は、そのままビス止めや貼り付けで固定する構成としてもよいが、ジョイントのための開口部以外のところから、取付部材側に連なる部分(例えばボールジョイント)を設ける構成とするとなおよい。例えば図中のビスのある部分にボールジョイントを設けることができる。
The pipe-shaped
図14は、取付具を用いた撮影機器101R及び車室内撮影用リアカメラ102の接続を説明する説明図の更に別の例である。
図14の取付具1101は、自由雲台状の取付具1101であり、撮影機器101R及び車室内撮影用リアカメラ102が自由雲台状の取付具1101を介して互いに接続している構成が特に有利である。このように、車両10に取り付けられた撮影機器101R及び車室内撮影用リアカメラ102のみがくるくる回るようなイメージのカメラの構成とすることができる。
FIG. 14 is still another example of an explanatory diagram for explaining the connection of the photographing
A mounting
取付具1101は、ダボネジ部1102、1103を有しており、ダボネジ部1102、1103を撮影機器101Rや車室内撮影用リアカメラ102の筐体部に設けられたダボネジ穴1105、1106へ螺入することにより、撮影機器101R、車室内撮影用リアカメラ102、取付具1101を互いに接続する構成とするとよい。また、撮影機器101R及び車室内撮影用リアカメラ102の間の位置関係の調整後、固定部1104をネジ締めすることで、両者を固定する構成とするとよい。
The mounting
この実施例により、車室内撮影用リアカメラ102をくるくると回して撮影方向を調整することも、撮影方向を仰角方向や俯角方向へ調整することも、容易に実行することができる。車室内撮影用リアカメラ102自体が、撮影方向(レンズの方向)を調整する機能を有する構成でも、取付具1101を用いて、撮影方向の調整可能な範囲を更に拡張することができる。
また、車室内撮影用リアカメラ102を車内撮影位置から、後方又は左右といった車外撮影位置へ移動させる場合でも、撮影機器101R及び車室内撮影用リアカメラ102の取付状態を安定して維持することが可能である。
According to this embodiment, it is possible to easily adjust the photographing direction by rotating the vehicle interior photographing
Further, even when the vehicle interior photographing
図15は、取付具のバリエーションの例である。
図15に示す取付具1201~1208を用いて、円筒形のカメラを複数、簡潔且つ容易に取り付け、組み合わせることができる構成とするとよい。特に、円筒形のカメラの外形の一部及び取付具1201~1208の開口部1210、1220の形状を規格化することで、カメラシステムに対して幅広い拡張性を安価に提供することができる。パイプ状の取付具1201~1208には、円筒形のカメラが取り付けられる開口部1210が円形であるものもあれば、開口部1220のようにパイプの側方側が開放しているもの(例えば、断面形状がC状である)もある。
FIG. 15 is an example of a variation of the fixture.
It is preferable to adopt a configuration in which a plurality of cylindrical cameras can be simply and easily attached and combined using
パイプ状の取付具1201~1208の開口部1210、1220の内径は、円筒形のカメラの外形と同じとするか、わずかに大きくするとよい。
また、取付具1201~1208の円形の開口部1210は、パイプの一部に切込みを入れた形状にしてもよい。
パイプ状の取付具1201~1208を用いる構造では、取り付けられたカメラの角度や位置が調整可能でありまた調整後固定可能である。
The inner diameters of the
Also, the
In the structure using the pipe-shaped
パイプ状の取付具1201~1208を、いわゆるパイプジョイントとすることで、容易かつ簡潔な構成及び良好な発展性を、車内カメラの取付に適用することができる。
更に、パイプジョイント用のパイプキャップの上に円筒形のカメラやドライブレコーダを貼り付けた(あるいは一体化した)構造とするとよい。
このようにパイプジョイントの規格を共通化すれば、車両内で用いられていた円筒形のドライブレコーダや車室内撮影用リアカメラ102を取り外し、パイプを組み合わせた棚や柵(囲い)、カートなどのパイプに差し込むだけで、工場や展示会等でも車室内撮影用リアカメラ102を流用して簡単にカメラを取り付けることができる。
また、カメラを取り付けた箇所には、パイプキャップを取り付ける必要がなくなる。
By using the pipe-shaped
Furthermore, a structure in which a cylindrical camera or drive recorder is pasted (or integrated) on a pipe cap for a pipe joint is preferable.
If the pipe joint standard is standardized in this way, the cylindrical drive recorder and the
Also, there is no need to attach a pipe cap to the location where the camera is attached.
上述の通り、撮影機器101R及び車室内撮影用リアカメラ102が共に円筒形状のハウジングを有している構成では、車室内撮影用リアカメラ102の撮影機器101Rへの取り付けをより簡潔且つ容易に実行できるので有利である。
取付具は、その種類に応じて複数のジョイント部(開口部)を有しており、複数のジョイント部(開口部)に、それぞれ別のリアカメラを差し込めるよう、各々の円弧部分を有するリアカメラの少なくとも一方の端の外径は、取付具の内径と一致するかやや大きく設定されている。
As described above, in the configuration in which both the photographing
The fixture has a plurality of joints (openings) according to its type, and the rear camera has arc portions so that different rear cameras can be inserted into each of the joints (openings). The outer diameter of at least one end of the camera is set to match or slightly larger than the inner diameter of the fixture.
図16は、その他の取付具のバリエーションの例である。
図16(a)は、2つのカメラを接続するための別の取付具1301を図示している。
図16(b)は、2つのカメラを接続するための更に別の取付具1311を図示している。
別の取付具1301及び更に別の取付具1311の開口部のそれぞれには、円筒形のカメラを取り付けることができる。
FIG. 16 is an example of another variation of the fixture.
FIG. 16(a) illustrates another
FIG. 16(b) illustrates yet another
A cylindrical camera can be mounted in each of the openings of the
図16(a)の別の取付具1301は、第1固定部1302、第2固定部1303、及び、それらを回転可能に接続する接続ジョイント1310から構成されている。
図16(a-1)は、第1固定部1302及び第2固定部1303の開口部が共に同一の方向を向いている状態を示している。
図16(a-2)は、図16(a-1)の別の取付具1301を回転軸1307の周りで90°回転した状態を示している。
Another
FIG. 16(a-1) shows a state in which the openings of the
FIG. 16(a-2) shows another
接続ジョイント1310は回転軸1307の方向に取り付けられたネジ等を有しており、それを締めることで、第1固定部1302及び第2固定部1303を互いに回転不能に固定する構成とするとよい。
第1固定部1302及び第2固定部1303はそれぞれ、2つの固定部部材1305a、1305b、1306a、1306b、及び、それらを互いに回動可能に接続する回動接続部1304から構成されている。回動接続部1304のネジを緩め、固定部部材1305a、1305b、1306a、1306bを開き、カメラを取り付け、再度固定部部材1305a、1305b、又は、1306a、1306bを閉じることで、第1固定部1302及び第2固定部1303にカメラを取り付ける構成とするとよい。
The connection joint 1310 has a screw or the like attached in the direction of the
Each of the
図16(b)の更に別の取付具1311は、第1固定部1312、第2固定部1313、及び、それらを回転可能に接続する回動接続部1314から構成されている。
図16(b-1)は、第1固定部1312及び第2固定部1313の開口部が共に同一の方向を向いている状態を示している。
図16(b-2)は、図16(b-1)の取付具1311の第1固定部1312を回動接続部1314の周りで回動させた状態を示している。ユーザは所望の角度で回動接続部1314をネジ締めすることで、第1固定部1312、第2固定部1313、を互いに回転不能に固定することができる。
Still another
FIG. 16(b-1) shows a state in which the openings of the
FIG. 16B-2 shows a state in which the
回動接続部1314を開いた状態にすると同一方向を向いていたカメラの片方が180度反対方向を向くことになるため、例えばある時には、1つのカメラを車両後方向け、1つのカメラを車室内向けとし、ある時には、2つのカメラを車両後方向けに設置する構成とするとよい。
第1固定部1312及び第2固定部1313の開口部へのカメラの取り付けや固定は、図15との関連で説明した方法で行うことができる。
When the
The mounting and fixing of the cameras to the openings of the
図17は、ピンプラグを有する車室内撮影用リアカメラ102の例である。
図17の実施例では、車室内撮影用リアカメラ102は、ピンプラグ1401を有しており、このピンプラグ1401は、ドライブレコーダ等の撮影機器101Rや他の追加カメラのプラグジャックに挿入可能である。
FIG. 17 shows an example of a
In the embodiment of FIG. 17, the
ピンプラグ1401には、Oリング1403が取り付けられており、ピンプラグ1401をピンジャック内へ挿入した場合に、Oリング1403の摩擦力に基づき、車室内撮影用リアカメラ102の固定を確実なものとする。
車室内撮影用リアカメラ102が、例えば撮影機器101Rの接合面にかみ合うように、回転防止構造1402として円周内側に三角突起を有する構成とするとなおよい。この回転防止構造1402が、0°、30°、45°、90°、180°、等のあらかじめ決められた角度で撮影機器101Rとかみ合うようにすると、容易に車室内撮影用リアカメラ102の角度を変更できで便利である。
An O-
It is more preferable that the
更に、車室内撮影用リアカメラ102が、例えば別の追加カメラとの接合面に、回転防止構造1405として円周外側に三角突起を有する構成とするとよい。
これらの構成は、振動による望まれない回転を防止するのに有利である。
Furthermore, it is preferable that the
These configurations are advantageous in preventing unwanted rotation due to vibration.
なお、車室内撮影用リアカメラ102に対して同種の別の車室内撮影用リアカメラ102を取り付ける場合、車室内撮影用リアカメラ102の回転防止構造1402と、別の車室内撮影用リアカメラ102の回転防止構造1405とが互いに係合すると有利である。
When another
図18は、図17のカメラの別の回転防止構造の拡大図の例である。
図18は、図17の車室内撮影用リアカメラ102を、撮影機器101Rに取り付けた場合の回転防止構造周辺の拡大図を図示している。
図18には、図17のカメラの回転防止構造1402を車室内撮影用リアカメラ側の回転防止構造1501として図示し、更に、それと係合する撮影機器101R側の回転防止構造1502として図示している。
18 is an example of an enlarged view of another anti-rotation structure of the camera of FIG. 17. FIG.
FIG. 18 shows an enlarged view of the periphery of the anti-rotation structure when the vehicle interior photographing
FIG. 18 shows the
回転を防止する車室内撮影用リアカメラ側の回転防止構造1501、1502は、撮影機器101R側に形成された鋸歯状の撮影機器側凹凸部1504と、車室内撮影用リアカメラ102側に形成され、撮影機器側凹凸部1504に咬合された弾性体のカメラ側爪部1503とからなり、撮影機器側凹凸部1504の凹部に咬合されたカメラ側爪部1503は、車室内撮影用リアカメラ102に所定以上の回転トルクが付与されない場合は、凹部に保持され、所定以上の回転トルクが付与された場合は、カメラ側爪部1503が、撮影機器側凹凸部1504の凹部から凸部を乗り越えて隣接する凹部に移動可能である。
この構造は、車室内撮影用リアカメラ102を任意の回動位置に容易に保持するのに適している。
The
This structure is suitable for easily holding the vehicle interior photographing
このようにして、車室内撮影用リアカメラ102の確実な固定と、車室内撮影用リアカメラ102の回転による撮影方向の容易な変更の両方を達成することが可能となる。またこの場合、車室内撮影用リアカメラ102は、360°以内の所定範囲に保持され、車内後方を撮影する撮影機器101Rが撮像する同一の被写体を異なる角度で撮像可能となる。
In this way, it is possible to achieve both reliable fixing of the vehicle interior photographing
図19は、図17のカメラを円筒形の撮影機器に取り付けた実施例である。
図19(a)の取付状態から、車室内撮影用リアカメラ102を一定以上の力でカチカチと回転させると、図19(b)の状態となる。
FIG. 19 shows an embodiment in which the camera of FIG. 17 is attached to a cylindrical imaging device.
When the
図19の実施例では、車室内撮影用リアカメラ102は、図17、図18と関連して説明した方法で、車両後方を撮影する撮影機器101Rに接続されている。車室内撮影用リアカメラ102は、図19(b)では、レンズ1601を、撮影機器101Rと同様に後方へ向けた状態で固定されている。反対に図19(a)では、不図示のレンズ1601は、車内に向けられており、車両後方から車両前方に向かって車内を撮影する。
In the embodiment of FIG. 19, the vehicle interior photographing
車室内撮影用リアカメラ102は、図17、図18と関連して説明した回転防止構造1602を有している。この回転防止構造1602により、車室内撮影用リアカメラ102と撮影機器101Rの間の回転可能であり且つ確実な固定を達成する構成とするとよい。
The vehicle interior photographing
図19の撮影機器101Rは、第1ハウジング1603、第2ハウジング1604、レンズ1605、ブラケット1606、滑り止め1607、支持脚部1608、取り付け面1609、取り付けプレート1610等を有するものである。
撮影機器101Rと車室内撮影用リアカメラ102が、同一の外径を有する円筒上のハウジングを有する構成であると、外見上の一体感が向上し、外観的に好ましい。
なお、車室内撮影用リアカメラ102を撮影機器101Rに外付けする構成で説明したが、図19を予め一体に整形され、レンズの方向を変更可能な1つの機器として構成することもできる。
The photographing
If the photographing
Although the configuration in which the
同様の車室内撮影用リアカメラ102を前方の撮影機器101Fに取り付けることも可能である。また、図17から図19に従う車室内撮影用リアカメラ102は、ピンプラグを差し込むことができるピンジャックを有する様々なタイプのカメラ、例えばデジカメ型/円筒型のカメラ、に取り付けることができる構成とするとよい。
また上記の通り、車内用カメラはフロント/リアのどちらのカメラにも接続可能であり、接続したカメラを検出することで、前方からの車内画像、後方からの車内画像に合わせて画像調整を設定される構成であるとよい。
特に、車室内撮影用リアカメラ102はIPSによる処理や圧縮処理を施したデータを出力するものであると有利であるが、RAWデータをそのまま出力するものであってもよい。
It is also possible to attach a similar
As mentioned above, the in-vehicle camera can be connected to either the front or rear camera, and by detecting the connected camera, the image adjustment can be set according to the in-vehicle image from the front and the in-vehicle image from the rear. It is preferable that the configuration is such that
In particular, it is advantageous for the
車内用カメラのピンジャックのピン形状及びピン配置は、既存のリアカメラ用のピンジャックのピン形状及びピン配置と互換性のあるものとすると有利である。この構成では、ユーザは、既に車両に取り付けられている既存の撮影機器101Rのピンジャックを介して、車室内撮影用リアカメラ102を容易に取り付けることができる。
また、車室内撮影用リアカメラ102の画角を、撮影機器101Rの車両後方向けカメラの画角よりも、狭く選択する構成とするとよい。このような構成では、車室内の様子をより良好に撮影することができる。
Advantageously, the pin shape and pin arrangement of the pin jack for the in-vehicle camera is compatible with the pin shape and pin arrangement of the existing rear camera pin jack. With this configuration, the user can easily attach the vehicle interior photographing
Also, the angle of view of the vehicle interior photographing
上記の構成において、ドライブレコーダの異なる面、特には異なる側面や底面、に前記互換性のあるコネクタを差し込むことができるプラグジャックを備え、異なる面に備えた互換性のあるプラグジャックに差し込まれたカメラの映像のすべてを時刻同期して再生可能に記録可能なドライブレコーダとすると更に有利である。
そのような構成では、ユーザは、追加するカメラの総数や撮影方向、画角や撮影方式等のカメラの諸元に応じて、撮影範囲、撮影目的、制御機能に関する所望の拡張を容易に実現することができる。
In the above configuration, the drive recorder is provided with plug jacks into which the compatible connectors can be plugged into different sides, particularly different sides and bottoms, and is plugged into the compatible plug jacks on the different sides. It is more advantageous to use a drive recorder that can replayably record all of the images captured by the camera in time synchronization.
With such a configuration, the user can easily expand the shooting range, shooting purpose, and control functions according to the total number of cameras to be added, shooting direction, angle of view, shooting method, and other camera specifications. be able to.
図17から図19では、車室内撮影用リアカメラ102は、丸ピンプラグのオスが本体から突出する形だが、これを通常のメスとし、オスオスの丸ピンプラグを用いて、車室内撮影用リアカメラ102とメインカメラである撮影機器101R等の他のカメラを接続する構成もよい。この構成では、オスオスの丸ピンプラグが、車室内撮影用リアカメラ102と撮影機器101Rの間の電気的な接続に加えて、機械的な接続及び固定の役割を担うことが好ましい。
In FIGS. 17 to 19, the
上記のようなZ形状のオスオスの丸ピンプラグを使用すると、車室内撮影用リアカメラ102を撮影機器101Rに対して、より大きな回転半径の軌道上で回転させ、位置調整することが可能となる。車室内撮影用リアカメラ102は軽量であるので、上記のプラグの他に、車室内撮影用リアカメラ102を撮影機器101Rに取り付け、位置決めし、固定するために、追加の取付具を排除することができる。
By using the Z-shaped male-to-female round pin plugs as described above, it is possible to rotate the vehicle interior photographing
更に、オスオスの丸ピンプラグを使用する構成では、車室内撮影用リアカメラ102からピンプラグが突出することがなく端子の静電気等の電気的衝撃・端子を曲げる力などの物理的な衝撃等による輸送・保管時の破壊の防止を図ることができるとともに、車室内撮影用リアカメラ102を直接他のカメラに接続せずに、単体で別の場所に配置した際に、接続するケーブル端がメスコネクタとなって大きくなってしまうことを防止できる。また車室内撮影用リアカメラ102を車外用カメラとして使用することも容易となる。
Furthermore, in the configuration using male and female round pin plugs, the pin plug does not protrude from the
更に別の接続及び固定具としては、撮影機器101Rと車内用カメラとの端子を同一軸上(同一直線上)ではない位置で、両カメラの位置を回転調整可能かつ(半)固定可能な固定具を用いて接続する構成とすることができる。このようにすることで、両端がI字のケーブルの両Iの軸がずれるため、Iプラグ同士を平行に配置でき、両者間の幅を小さくできる。言い換えれば、通常互いに一直線に並んで設計されている各オス部分の軸線をずらした構成とすることが望ましい。例えば、オスオスの丸ピンプラグを、Z形状、ハンドル形状あるいはクランク形状等に形成する構成とするとよい。これらの接続及び固定具により、車内用カメラとメインカメラの間の間隔を減少することができる。同様の構成は、L字端子のI部分にも同様に採用することができる。
Further, as another connection and fixture, the terminals of the photographing
図20は、図17のカメラをデジタルカメラ型の撮影機器101Rに取り付ける手順を説明する説明図の例である。
図20(a)は、デジタルカメラ型ドライブレコーダである車両の後方を撮影する撮影機器101Rが、車両内に設置され、ケーブル1703により電源やフロントカメラに接続されている状態を示している。ケーブル1703は1本で、電力の供受給及びデータの送受信の役割を担う構成とするとよく、そのような構成では、配線を簡潔にすることが可能となり有利である。
FIG. 20 is an example of an explanatory diagram illustrating a procedure for attaching the camera of FIG. 17 to the digital camera
FIG. 20(a) shows a state in which a photographing
図20(b)は、図20(a)の撮影機器101R、ケーブル1703、電源やフロントカメラの間の接続を解除し、撮影機器101Rとケーブル1703の間に、図17に従う車室内撮影用リアカメラ102を取り付ける直前の状態を示している。
In FIG. 20(b), the photographing
車室内撮影用リアカメラ102のピンプラグ1705及びピンジャック1706は、それぞれ撮影機器1701のピンジャック1704及びケーブル1703のピンプラグ1707の規格に対応するものである。
なお、図20では、ケーブル1703のピンプラグ1707は、ケーブル1703の外径よりも大きく記載されているが、これは単に見やすさのためであり、ピンプラグ1707の外径はケーブル1703の外径よりも小さくても構わない。
The pin plug 1705 and the
20, the pin plug 1707 of the
図20(c)は、撮影機器1701とケーブル1703の間に、図17に従う追加の車室内撮影用リアカメラ102を取り付けた状態を示している。撮影機器101R及び追加の車室内撮影用リアカメラ102は、ケーブル1703を介した電源からの給電、フロントカメラとの撮影データの送受信が可能な状態にある。言い換えれば、ケーブル1703は、デジタルのデータを伝送する役割に加えて、個々のカメラに対して電力を供給する役割も担っている。そのため、車室内撮影用リアカメラ102を追加しても、新たな配線は不要であり、1本のケーブルを用いた簡潔な取り回しが可能となる。このケーブルは特には同軸型のケーブルを用いるとよい。
FIG. 20(c) shows a state in which an additional vehicle interior photographing
図20(c)では、車室内撮影用リアカメラ102を既存の撮影機器101Rへ容易に取り付けることが可能となる。既存の撮影機器101Rは一般に、規格化されたピンジャックを有しているので、車室内撮影用リアカメラ102に対応する規格化されたピンプラグを設けることで、様々な撮影機器101Rを本情報処理システムに採用することができる。
In FIG. 20(c), it becomes possible to easily attach the
図20(c)では、撮影機器101Rとケーブル1703の間には、1つの追加の車室内撮影用リアカメラ102のみが取り付けられているが、複数の追加の車室内撮影用リアカメラ102を直列に取り付けることも可能である。更に、ユーザは複数の追加の車室内撮影用リアカメラ102を分岐ケーブルを用いて取り付ける構成であるとよく、そのような構成については図21で説明する。
In FIG. 20(c), only one additional
図20(c)の構成では、撮影機器101Rは車両後方外部を撮影するように、そして、車室内撮影用リアカメラ102は車室内を撮影するように、それぞれ撮影方向を設定されている。
車室内撮影用リアカメラ102は、ケーブル1703を介してフロントカメラからの映像データを受け取り、受け取ったフロントカメラからの映像データ及び車室内撮影用リアカメラ102自体が撮影した映像データの双方を、撮影機器101Rへ送る構成であるとよい。上述の通りケーブル1703は、撮影機器101R及び車室内撮影用リアカメラ102への給電にも利用可能な構成であるとなおよい。
In the configuration of FIG. 20(c), the photographing direction is set so that the photographing
The vehicle interior photographing
フロントカメラ及び車室内撮影用リアカメラ102から撮影機器101Rへ送られるデータは、フロントカメラ及び車室内撮影用リアカメラ102のそれぞれでISP(Image Signal Processor)による処理や圧縮処理を施したデータであってもよいし、RAWデータであってもよい。
フロントカメラ及び車室内撮影用リアカメラ102がRAWデータをそのまま送信する構成では、更に、撮影機器101Rが、それらのRAWデータに対して、ISPによる処理や圧縮処理を行う構成であるとよい。
The data sent from the front camera and the vehicle interior
In a configuration in which the front camera and the
車室内撮影用リアカメラ102は、撮影機器101Rからの映像データを受け取り、受け取った撮影機器101Rからの映像データ及び車室内撮影用リアカメラ102自体が撮影した映像データの双方を、フロントカメラへ送る構成であるとよい。そのような構成では、撮影機器101R及び車室内撮影用リアカメラ102からフロントカメラへ送られるデータは、撮影機器101R及び車室内撮影用リアカメラ102のそれぞれでISPによる処理や圧縮処理が行われたデータであるとよりよいが、RAWデータであってもよい。
The vehicle interior photographing
撮影機器101R及び車室内撮影用リアカメラ102が、RAWデータをそのまま送信する構成では、フロントカメラがそれらのRAWデータに対して、ISPによる処理や圧縮処理を行うこともできる。
In a configuration in which the photographing
撮影機器101R、車室内撮影用リアカメラ102、フロントカメラのそれぞれがIPSによる処理や圧縮処理を実行する構成では、1つのカメラにISP処理等が集中しないため、例えば撮影機器101Rの制御部303は、例えば図4に関連して説明した画像解析や状況判定に対して、より多くの演算処理能力を割り当てることが可能となる。それにより、より高速あるいはより高精度に画像解析や状況判定を実行することができる。
In a configuration in which each of the photographing
車室内撮影用リアカメラ102やフロントカメラがRAWデータを撮影機器101Rへ送り、撮影機器101Rが、車載カメラシステムを構成する個々のカメラの映像データの全てのIPS処理や圧縮処理を実行する構成では、メインユニットである撮影機器101Rを高性能にし、それ以外を安価なユニットで構成することが可能となり、システム全体を安価に製造することができる。
In a configuration in which the
上記の構成では、更に、映像の記録媒体は、フロントのみ/フロント及びリア/リアのみ、の3通りから、選択可能な構成とするとよい。
記録媒体をフロント及びリアの双方に設けた構成では、記録媒体が両方に分かれていることにより、大事故時に、例え一方のカメラが破損したとしても、取り残しを防ぐことができる。
In the above configuration, the video recording medium may be configured such that it is possible to select from three options: front only/front and rear/rear only.
In the configuration in which the recording media are provided on both the front and the rear, since the recording media are divided into both, even if one camera is damaged in the event of a major accident, it is possible to prevent the camera from being left behind.
記録媒体がフロント+リアの2つになっている場合、お互い通信や電気信号等でフレームの同期をとる構成であるとよい。なお、この構成における同期はある程度ずれていてもよい。
記録媒体がフロント+リアの2つになっている場合、互いの映像の時刻を合せる機能を持つと良い。
記録媒体がフロント+リアの2つになっている場合、イベントトリガを両方で検知すると良い。またこの構成では更に、イベントトリガはOR、ANDなどの条件で決定、設計する構成であるとよい。
When there are two recording media, front and rear, it is preferable that frames are synchronized by mutual communication or electric signals. It should be noted that the synchronization in this configuration may be off to some extent.
If there are two recording media, front + rear, it is good to have a function to synchronize the time of each image.
If there are two recording media, front and rear, it is better to detect event triggers on both. Further, in this configuration, it is preferable that the event trigger is determined and designed based on conditions such as OR and AND.
図21は、分岐ケーブル1804を用いて図17のカメラを2つ、デジカメ型の撮影機器に取り付けた実施例である。
図21の実施例では、別の装置に2つ以上のカメラの映像を伝送することが可能となる。別の装置とは、図21の実施例では例えばデジカメ型ドライブレコーダである撮影機器101Rである。撮影機器101Rには、二股の分岐ケーブル1804を介して、2つの車室内撮影用リアカメラ102が接続されている。
車室内撮影用リアカメラ102はそれぞれ不図示の位置固定手段で車両の所望の位置に、特に車両の後方領域に、取り付けられている。
FIG. 21 shows an embodiment in which two cameras shown in FIG.
The embodiment of FIG. 21 makes it possible to transmit the images of more than one camera to another device. Another device is the photographing
The vehicle interior photographing
図21の実施例には、2つの車室内撮影用リアカメラ102、すなわち第1の追加カメラ1802a及び第2の追加カメラ1802b、が設けられている。例えば第1の追加カメラ1802aが車両の後方から前方に向かって車室を撮影し、第2の追加カメラ1802bが車両の側方を車両後部から撮影する構成とすると有利である。
撮影機器1801は、更に別のピンジャックを有していてもよく、そのような構成では2つの分岐ケーブルを用いて、更に2つの追加のカメラを接続することも可能である。
また、分岐ケーブルは、二股に限らず三股以上に分岐していてもよい。
The embodiment of FIG. 21 is provided with two
The imaging device 1801 may have additional pin jacks, and in such a configuration two branch cables may be used to connect two additional cameras.
Also, the branch cable may be branched into three or more branches instead of two.
この実施例では、追加の車室内撮影用リアカメラ102は、例えば、車室内撮影用リアカメラ102自体が撮影した映像データ、及び、撮影機器101Rからの映像データを外部にパススルーする構成であるとよい。
また、第1の追加カメラ1802aは、ケーブル1803からの電力供給をパススルーすることができ、第2の追加カメラ1802b及び、撮影機器101Rに、分岐ケーブル1804を介して電力を提供する構成であるとよい。
In this embodiment, the additional
Also, the first
車室内撮影用リアカメラ102は、ケーブルを介して、車室内撮影用リアカメラ102自体が撮影した映像データ、撮影機器101Rが撮影した映像データ、及び電力を、外部に送ることもできるし、ケーブルを介して外部から送られてきた映像データ、車室内撮影用リアカメラ102自体が撮影した映像データ、及び電力を、撮影機器101Rへ送ることもできるような構成であるとよい。
The vehicle interior photographing
車室内撮影用リアカメラ102が、室内の撮影でIRLEDを点灯させるIRカメラである構成は、夜間等にも車室内を明瞭に撮影することができる。車内撮影用のカメラがIRカメラである構成は、車外/夜間の撮影にも良好に対応することができる。
上記の構成では、IRフィルタを自動で挿入/非挿入するレンズを使用する構成であるとよりよい。
The configuration in which the
In the above configuration, it is better if the configuration uses a lens that automatically inserts/does not insert an IR filter.
車内撮影用のカメラが、RGB-IRカメラであり、RGB撮影モードとIR撮影モードを適宜切り替える構成とすることもできる。これにより車内撮影用のカメラは、夜間等の低照度の状況ではIR撮影モードで撮影を行い、十分な照度の状況ではRGB撮影モードでの撮影に切り替えることができる。 The camera for photographing inside the vehicle is an RGB-IR camera, and the configuration may be such that the RGB photographing mode and the IR photographing mode are appropriately switched. As a result, the camera for photographing the interior of the vehicle can perform photographing in the IR photographing mode in low illuminance conditions such as at night, and can be switched to photographing in the RGB photographing mode in conditions of sufficient illuminance.
車室内撮影用リアカメラ102が、車外にも向けられるカメラとカメラの方向の調整に連動する投光方向を持つ投光器を備える車内撮影用カメラであって、車外にカメラを向けたとき投光器の光を電気的遮断または機械的遮蔽によって光が車外に見えない状態とすることができる構成とするとよい。
例えばカメラの回転と連動して、カメラが後ろを向いたら、投光器が機械的に遮蔽又は電気的に遮断する構成であるとよい。
この構成により、一方では、車内の撮影に必要な光量を確保することが可能であり、他方では、車外の撮影時には、投光器の光を車外から確認することができない構成が達成される。
The
For example, it may be configured such that the projector mechanically or electrically shuts off when the camera turns backward in conjunction with the rotation of the camera.
With this configuration, on the one hand, it is possible to secure the amount of light necessary for photographing the interior of the vehicle, and on the other hand, when photographing the exterior of the vehicle, the configuration is achieved in which the light of the projector cannot be confirmed from the exterior of the vehicle.
更に、カメラの回転と連動して、例えば使用するレンズを変更し、撮影する映像の画角を変更する構成であるとよい。例えば、車内撮影では標準から中望遠(例えば35mmフィルムカメラ換算で50mm~80mmの焦点距離)、車外撮影では超広角(例えば35mmフィルムカメラ換算で10mm~20mmの焦点距離)といった変更や、車内撮影では広角(例えば35mmフィルムカメラ換算で24mm~28mmの焦点距離)、車外撮影では超広角(例えば35mmフィルムカメラ換算で10mm~20mmの焦点距離)といった変更が可能である。 Furthermore, it is preferable to change the angle of view of the image to be shot by changing the lens to be used, for example, in conjunction with the rotation of the camera. For example, you can change from standard to medium-telephoto (for example, focal length of 50mm to 80mm with a 35mm film camera) for shooting inside a car, and ultra-wide angle (for example, focal length of 10mm to 20mm with a 35mm film camera) for shooting outside a car. Wide angle (for example, focal length of 24 mm to 28 mm in terms of 35 mm film camera) and ultra-wide angle (for example, focal length of 10 mm to 20 mm in terms of 35 mm film camera) for shooting outside the vehicle can be changed.
制御部303は、これらの措置を後方撮影モードとして実行することができる。制御部303は、例えばカメラの回転と連動して、後方撮影モードへの切り替えを実行し、これにより、例えば赤外LED等の投光器の光を電気的遮断または機械的遮蔽や、レンズの変更が行われるとよい。また、制御部303は、後方撮影モードへの切り替えが行われたことや後方撮影モードであることを通知する情報を、例えばユーザ端末に対して出力する構成であるとよい。 The control unit 303 can execute these measures as the rear imaging mode. For example, the control unit 303 switches to the rear photographing mode in conjunction with the rotation of the camera, thereby electrically blocking or mechanically blocking the light from a projector such as an infrared LED, or changing the lens. It should be done. Further, the control unit 303 may be configured to output information notifying that the switching to the rear imaging mode has been performed or that the rear imaging mode is set, for example, to the user terminal.
上記の車内撮影用カメラが、上記の後方側を向けたときのレンズの前にガラス面ごしに良く映るようにしたフィルタを備える構成であるとよい。フィルタとしては、NDフィルタ、PLフィルタや、添付のポジカフィルムなどを用いるとより有利である。 It is preferable that the above-mentioned in-vehicle photographing camera is provided with a filter in front of the above-mentioned lens when facing the rear side so that the image can be clearly seen through the glass surface. As a filter, it is more advantageous to use an ND filter, a PL filter, an attached positive film, or the like.
上記のフィルタを、車両後方に取り付けられた半天球カメラの後ろ側の部分に施す構成とするとよく、特に後ろ側の半分にだけ施す構成もよい。このような構成でも、車内の撮影に必要な光量を確保することが可能であり、車外の撮影時には、投光器の光を車外から確認することができない構成を達成できる。 It is preferable that the above-described filter is applied to the rear portion of the semi-spherical camera attached to the rear of the vehicle, and in particular, it may be applied only to the rear half. Even with such a configuration, it is possible to ensure the amount of light necessary for photographing the inside of the vehicle, and it is possible to achieve a configuration in which the light from the projector cannot be confirmed from outside the vehicle when photographing outside the vehicle.
さらに、以下のようにしてもよい。
自動車の後退時に発生する事故に対する安全対策の更なる強化が求められている。これに関連して、車両10のリア側から車両10の後方を2カメラで撮影し、距離を得る情報処理システムの用途として、以下のようにしてもよい。以下の構成は、例えば、上述した、撮影機器101Rと、車室内撮影用リアカメラ102との2カメラ(以下では、「後方側を撮影するカメラ」などと称することがある。)で車両後方を撮影して、後方車両などの後方の物体までの距離を測定する情報処理システムに適用できる。
Furthermore, the following may be done.
There is a demand for further strengthening of safety measures against accidents that occur when a vehicle moves backward. In relation to this, the information processing system for obtaining the distance by photographing the rear side of the
1.情報処理システムは、運転者から視認可能な位置に設置するディスプレイを有する機器に、有線または無線を介して直接あるいは間接的にリア寄りに設置された後方側を撮影するカメラを接続し、その後方側を撮影するカメラの映像を取得して運転者が視認可能に表示するシステムとするとよい。 1. The information processing system connects a device with a display installed at a position visible to the driver directly or indirectly via a cable or wirelessly to a camera installed near the rear that captures the rear side. It is preferable that the system acquires the image of the camera that captures the side and displays it so that the driver can visually recognize it.
ディスプレイを有する機器の設置位置は、ダッシュボード上、ルームミラー、Aピラー、サンバイザーの位置とするとよく、これらの取付具のうち少なくとも3つが同一の前記ディスプレイを有する機器に取付可能な取付部を当該機器に備えるとよい。
また、当該機器に取付可能な前記少なくとも3つの取付具と当該機器とが梱包材の中に同梱された状態で出荷される構成とするとよい。
カメラと当該機器と当該少なくとも3つの取付具が同梱された状態とするとよい。
The installation position of the device having the display may be on the dashboard, the rearview mirror, the A pillar, and the sun visor, and at least three of these fixtures have mounting portions that can be attached to the device having the same display. It is good to prepare for the equipment concerned.
Further, it is preferable that the at least three fixtures that can be attached to the device and the device are shipped together in a packing material.
The camera, the device, and the at least three fixtures may be packaged together.
複数の異なるカメラの映像を入力して、ディスプレイに対して表示するカメラの映像を選択あるいは1画面に合成する機能を備えるとよい。
いずれのカメラの映像あるいは合成した映像である合成映像が表示されている状態でも音声認識またはワンタッチで、カメラの映像としては後方を撮影するカメラの映像を1画面内に表示し、他のカメラの映像は当該1画面内には表示しない状態へ遷移させる機能を備えるとよい。
前記遷移の前の状態を記憶しておき、一定時間経過したら、当該記憶された前記遷移前のカメラの選択状態へ戻る機能を備えるとよい。
It is preferable to have a function of inputting images from a plurality of different cameras and selecting the images of the cameras to be displayed on the display or synthesizing them into one screen.
Even in the state where the image of any camera or the composite image that is a composite image is displayed, the image of the camera shooting behind is displayed on one screen as the image of the camera by voice recognition or one touch, and the image of the other camera is displayed. It is preferable to provide a function for transitioning to a state in which the image is not displayed within the one screen.
It is preferable to have a function of storing the state before the transition and returning to the stored selected state of the camera before the transition after a certain period of time has passed.
車両が後退状態に切り替えられたことを検知する機能を備え、車両が後退状態に切り替えられたときには、少なくとも車両のリア側から車両の後方を撮影範囲とする映像を前記ディスプレイに表示させた状態にする機能を備えるとよい。
ただし、このタイミングでは、バック開始が検出されてから画面に車両後方の映像が表示された状態となるケースが多いので、バックしようとしたときの状態の確認には使えないケースが出てくる。
It has a function to detect that the vehicle has been switched to the reverse state, and when the vehicle is switched to the reverse state, the display displays an image of at least the rear of the vehicle from the rear side of the vehicle. It is preferable to have a function to
However, at this timing, there are many cases where the image behind the vehicle is displayed on the screen after the start of reversing is detected, so there are cases where it cannot be used to check the state when reversing.
そこで、運転者が車両を後退させる指示を入力したときに、少なくとも車両のリア側から車両の後方を撮影範囲とする映像を前記ディスプレイに表示させた状態にする機能を備えるとよい。
運転者が車両を後退させる指示は、音声認識で入力するようにするとよい。ボタン押下の検出とするようにしてもよい。
ハザードランプの点灯を検出するようにしてもよい。運転者のギヤ操作を検出するようにしてもよい。
特にこれらのいずれかと「停車状態である」ことの検出が両方成立したときに、少なくとも車両のリア側から車両の後方を撮影範囲とする映像を前記ディスプレイに表示させた状態にする機能を備えるとよい。
Therefore, when the driver inputs an instruction to move the vehicle backward, it is preferable to have a function of displaying an image of at least the rear side of the vehicle to the rear of the vehicle as a photographing range on the display.
The driver's instruction to reverse the vehicle should be input by voice recognition. Alternatively, button press detection may be performed.
Lighting of hazard lamps may be detected. The gear operation of the driver may be detected.
In particular, when both of these and the detection of "the vehicle is in a stopped state" are established, a function is provided in which an image of at least the rear of the vehicle as a shooting range from the rear side of the vehicle is displayed on the display. good.
ハザードランプの点灯の検出は、(リアから)車室内向けのカメラで撮影した映像内での運転者のハザードランプ点灯ボタンの操作の検出、ハザードランプの点灯状態を示すランプの点灯状態の検出、例えば方向指示ランプの左右両側の点灯の検出等で行うとよい。
運転者のギヤ操作の検出は、(リアから)車室内向けのカメラで撮影した映像内での運転者のギヤの操作の検出等で行うとよい。
ハザードランプの操作ボタン、ギヤ操作レバー等は、車両の左右中央部に設けられている車両が多く、リア側から車室内を撮影するカメラによって良好に状態が取得できる。
Detection of lighting of hazard lamps includes detection of operation of the hazard lamp lighting button by the driver in the image taken by the camera for the vehicle interior (from the rear), detection of lighting status of the lamp indicating the lighting status of the hazard lamp, For example, it is preferable to detect lighting of both left and right direction indicator lamps.
The detection of the gear operation by the driver may be performed by detecting the gear operation by the driver in an image captured by a camera for the interior of the vehicle (from the rear).
Hazard lamp operation buttons, gear operation levers, and the like are often provided in the left and right central portions of the vehicle, and a good condition can be obtained by a camera that captures the interior of the vehicle from the rear side.
2.情報処理システムは、車両が後退状態に切り替えられたことを検知する機能を備え、後退状態に切り替えられたことに応じたトリガの前の時間を含む車室内の映像と、後退状態に切り替えられたことに応じたトリガの前の時間を含むリアから後方を撮影した映像とを記録する機能を備えるとよい。この映像には、再生時に他のイベントと区別できる情報を関連付けて記録するとよい。 2. The information processing system has a function to detect that the vehicle has been switched to the reverse state, and the image of the inside of the vehicle including the time before the trigger corresponding to the switching to the reverse state and the time when the vehicle was switched to the reverse state. It may be desirable to have the ability to record rear-to-back footage including the time prior to triggering accordingly. This video should be recorded in association with information that can be distinguished from other events during playback.
3.上記1.2.等の車両が後退状態に切り替えられたことを検知する機能は、Gセンサの前後方向の加速度の方向の変化を用いて検知する方法、GPS等から取得した車両の進行方向の変化を検知する方法、カメラの映像の変化を用いる方法のいずれかを用いるとよく特に少なくともいずれか2つを用いて検知するとよい。
カメラの映像としては、前方を撮影するカメラ、後方を撮影するカメラ、側方を撮影するカメラのいずれかとするとよいが、特に側方を撮影領域に含むカメラとするとよく、特に下向きに設置した半天球カメラの周辺部の映像の流れる方向の変化を用いるとよく、特に円周方向に流れる映像の方向の転換を検知する構成とするとよい。
3. 1.2 above. The function of detecting that the vehicle has been switched to the reverse state is a method of detecting using a change in the direction of acceleration in the longitudinal direction of the G sensor, a method of detecting a change in the traveling direction of the vehicle acquired from GPS etc. It is preferable to use any one of the methods using changes in the image of the camera, and in particular, it is preferable to use at least any two of them for detection.
As for the image of the camera, it is preferable to use a camera that shoots the front, a camera that shoots the rear, or a camera that shoots the side. It is preferable to use a change in the flow direction of the image in the peripheral portion of the spherical camera, and it is particularly preferable to detect a change in the direction of the image flowing in the circumferential direction.
4.情報処理システムは、リア側に設置され車両の後方を撮影するカメラの映像から車両の後方の物体までの距離を求め、当該距離に基づく警報を行う機能を備えるとよい。
情報処理システムは、1台のカメラから車両の後方を撮影する映像が取得されているときには単眼カメラによる距離推定によって車両後方の障害物までの距離を推定し、2台のカメラから車両の後方を撮影する映像が取得されているときにはステレオカメラによる距離推定によって車両後方の障害物までの距離を推定するように切り替える切替機能を備えるとよい。
この切替は予め設定画面や機器に備えるスイッチ等で設定しておき、この設定状態に応じて切り替えるようにしてもよいが、入力される映像の状態、機器の設置状態によって、自動的に切替を行う機能を備えるとするとよい。
情報処理システムは、自動切り替えするか、手動設定するかを選択しておく、機能を備えるとよい。
4. The information processing system preferably has a function of obtaining a distance to an object behind the vehicle from an image captured by a camera installed on the rear side of the vehicle, and issuing an alarm based on the distance.
The information processing system estimates the distance to an obstacle behind the vehicle by estimating the distance with the monocular camera when an image of the rear of the vehicle is captured from one camera, and estimates the distance to the obstacle behind the vehicle from the two cameras. It is preferable to provide a switching function for switching to estimate the distance to an obstacle behind the vehicle by estimating the distance by the stereo camera when the image to be shot is acquired.
This switching may be set in advance using a setting screen or a switch provided on the device, and the switching may be performed according to this setting state, but the switching may be automatically performed depending on the state of the input video and the installation state of the device. It is better to have a function to perform
The information processing system preferably has a function of selecting whether automatic switching or manual setting is to be performed.
5.情報処理システムは、車室内を撮影するカメラの映像中(例えば1フレームの映像領域中、一枚の静止画の領域の中)から次の部分の領域を弁別して求める機能を備えるとよい。
(1)車の構造物の領域(座席、ピラー等)、(2)車の外の領域(例えば窓越しに見えている領域)、(3)車の中の人や荷物のように移動可能なものの領域
情報処理システムは、車両内の人を検知する機能を備え、人がいないと判定されたときの映像を保持しておき、保持した映像の差分から(1)(2)の領域を求めるとよい。
特にカメラの映像以外から車両内の人を検知する機能を備え、これに基づいてこの処理を行うとよい。
5. The information processing system preferably has a function of discriminating and obtaining the following areas from the image captured by the camera that captures the interior of the vehicle (for example, the image area of one frame or the area of one still image).
(1) Areas of vehicle structures (seats, pillars, etc.), (2) Areas outside the vehicle (e.g. areas seen through windows), (3) Moveable, such as people and luggage inside the vehicle An object area information processing system has a function of detecting people in a vehicle, holds an image when it is determined that no person is present, and determines areas (1) and (2) from the difference between the held images. you should ask.
In particular, it is preferable to have a function of detecting a person in the vehicle other than the image of the camera, and perform this processing based on this function.
熱画像センサ、焦電センサ等を車室内に設置し、情報処理システムは、こうしたセンサがガラス越しの人は検知しない特性を用いて車室内に人がいるか否かを検知する機能を備えるとよい。
情報処理システムは、車室内を撮影するカメラの映像を、予め学習した学習モデルを用いて推論させセグメンテーション結果を得て、上記(1)から(3)の領域を求める機能を備えるとよい。
情報処理システムは、セグメンテーションではない物体検出機能を備え、人や物が車外のものか車内のものかを弁別する機能を備え、車内か車外かによって警報を行うか否か、または、警報の態様(例えば警報の内容やレベル等)を変える機能を備えるとよい。
A thermal image sensor, a pyroelectric sensor, or the like should be installed in the vehicle interior, and the information processing system should have a function of detecting whether or not there are people in the vehicle interior using the characteristics of these sensors that do not detect people through the glass. .
The information processing system preferably has a function of determining the regions (1) to (3) above by obtaining a segmentation result by making an inference using a learning model that has been learned in advance from the video captured by the camera that captures the interior of the vehicle.
The information processing system has an object detection function that is not segmentation, has a function to discriminate whether a person or an object is outside the vehicle or inside the vehicle, and determines whether or not to issue an alarm depending on whether the person or object is inside or outside the vehicle, or the mode of the alarm. It is preferable to have a function to change (for example, the content and level of an alarm).
6.情報処理システムは、リア側カメラの撮影範囲を自動的に推定する機能を備えるとよい。情報処理システムは、特に1枚の映像領域中での後方側の範囲を決定する機能を備え、その範囲の映像を前記ディスプレイに表示させる機能を備えるとよい。 6. The information processing system preferably has a function of automatically estimating the imaging range of the rear-side camera. The information processing system preferably has a function of determining a rear range in one image area, and a function of displaying the image of that range on the display.
7.情報処理システムは、車両のリア側から車両の後方側を撮影した映像から、後方車両までの距離を求める機能を備え、バック時(後退時)には、前記後方車両までの距離を用いて警報を行う機能と、前進時には、前記後方車両までの距離に基づき後方車両のあおり運転を検出する機能を備えるとよい。 7. The information processing system is equipped with a function to determine the distance to the vehicle behind from an image of the rear side of the vehicle taken from the rear side of the vehicle. and a function of detecting tailgate driving of the rear vehicle based on the distance to the rear vehicle when moving forward.
8.情報処理システムは、車両のリア側から車両の後方側を撮影した映像から、後方の物までの距離を求める機能を備え、前進時とバック時(後退時)とで、後方の物までの距離の算出処理内容を変更する機能を備えるとよい。
情報処理システムは、バック時には0から数メートル範囲で精度よく算出するように検出範囲のレンジを設定する一方、前進時には数メートルから数十メートル範囲を精度よく算出するように検出範囲のレンジを設定する等、そのレンジを変更する機能を備えるとよい。
8. The information processing system has a function to determine the distance to objects behind the vehicle from images taken from the rear side of the vehicle. It is preferable to have a function to change the calculation processing contents of .
The information processing system sets the detection range so as to accurately calculate the range from 0 to several meters when backing up, and sets the detection range so as to accurately calculate the range from several meters to several tens of meters when moving forward. It is preferable to have a function to change the range, such as
上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、SSD(Solid State Drive)等の記憶装置、または、ICカード、SDカード、DVD等の記録媒体に置くことができる。 Some or all of the above configurations, functions, processing units, processing means, etc. may be realized by hardware, for example, by designing integrated circuits. Moreover, each of the above configurations, functions, etc. may be realized by software by a processor interpreting and executing a program for realizing each function. Information such as programs, tables, and files that implement each function can be stored in storage devices such as memories, hard disks, SSDs (Solid State Drives), or recording media such as IC cards, SD cards, and DVDs.
本発明を適用しうる車両やその他の場所として、以下のようなものもある。
幼稚園・養護学校送迎バス。お迎えの先生は同乗しているが、何か事故やトラブルがあったときに、運転手、先生、子供たちの動きが確認できる。幼稚園児がバスに取り残されてしまうことの事故の防止に寄与することが期待できる。
観光バス、ホテル送迎バス、電車内など、人を運ぶ車両への装着。
飛行機内。操縦室から客室の様子が分からない可能性がある。その場合、キャビン、貨物室に装着したカメラの映像を、コクピットや、ギャレー(例えばCAエリア)で映像を確認できると、トラブルや、事件を事前防止で役に立つと考えられる。これらは監視カメラ類に近い用途である。
Vehicles and other places where the present invention can be applied include the following.
Kindergarten, school for the disabled shuttle bus. The teacher picking up the child is on board, but if there is an accident or trouble, the movements of the driver, teacher, and children can be checked. It can be expected to contribute to the prevention of accidents in which kindergarten children are left behind on buses.
Attached to vehicles that carry people, such as sightseeing buses, hotel shuttle buses, and trains.
Inside the plane. There is a possibility that the state of the cabin cannot be seen from the cockpit. In that case, if the images of the cameras installed in the cabin and cargo compartment can be checked in the cockpit or galley (for example, the CA area), it will be useful in preventing troubles and incidents in advance. These applications are similar to surveillance cameras.
リアハッチは、上方へ開く跳ね上げ式のタイプのものが多いが、車種によっては、リアハッチが、横方向への片開きするもの、又は観音開きするものもある。このようなリアハッチの場合は、車室内撮影用リアカメラ102は、開状態において、横方向から車両500の後方を撮影することとなる。リアハッチは、手動で開閉するもののほか、電動で開閉するものであってもよい。また、上述した各構成において、車両後方の開口部を開閉する後方開閉部の一例であるリアハッチとして説明したところは、適宜、車両の開口部を開閉する開閉部として読み替えられてもよい。例えば車両後方以外の部位に設けられた開閉部に同様の構成を採用することも考えられる。
Most of the rear hatches are of the flip-up type that opens upward, but depending on the vehicle type, the rear hatches may be laterally opened to one side or double-sided. In the case of such a rear hatch, the vehicle interior photographing
なお、既に「車両後方から車両前方に向かって撮影した車室内の映像データを処理することを特徴とし、例えば、車両後方から車両前方に向かって撮影した車室内の映像データと、車両後方から車両後方外部を撮影した車外の映像データと、を処理する、ことを特徴とする。」と説明しているように、また、ここまでの実施の形態の説明からも分かるように、車両の後方側に設けられる撮影機器は、少なくとも車両後方から車両前方に向かって撮影する機能を有する撮影機器として把握することができ、例えば、車両後方から車両後方外部を撮影する機能を有しない撮影機器として把握することができる。例えば、撮影機器101Fが、カメラ402を有さず、車室内撮影用リアカメラ102を用いて撮影した車室内の映像データを処理する構成としてもよい。
In addition, it is characterized by processing the image data of the vehicle interior photographed from the rear of the vehicle toward the front of the vehicle. image data of the outside of the vehicle obtained by photographing the rear exterior.", and as can be seen from the description of the embodiments so far, The photographing device provided in the vehicle can be grasped as a photographing device having a function of photographing at least from the rear of the vehicle toward the front of the vehicle, for example, it can be grasped as a photographing device that does not have a function of photographing the outside of the vehicle from the rear of the vehicle. be able to. For example, the photographing
[a.撮影機器101Fの構成例]
撮影機器101Fは、例えば、以下の構成とするとよい。
<a-1.撮影機器101Fの外観構成>
図24は、撮影機器101Fの外観構成の一例を示す図である。図24(a)は、撮影機器101Fを前方側の右斜め上方向から見た図である。図24(b)は、撮影機器101Fを後方側の右斜め上方向から見た図である。撮影機器101Fは、筐体1010を有する。筐体1010は、上下方向よりも左右方向に長く、かつ厚みは比較的小さい直方体状である。筐体1010は、車両に取り付けられたときに上方を向く上面1011と、第2の側面1012と、第1の側面1013と、第1の側面1013の反対側に位置する第3の側面1014と、第2の側面1012の反対側に位置する第4の側面1015と、を有する。
[a. Configuration example of
The
<a-1. Appearance configuration of photographing
FIG. 24 is a diagram showing an example of the external configuration of the
上面1011には、ジョイントレール552と、カメラジャック5591と、が設けられている。ジョイントレール552は、撮影機器101Fを車両の所定の取付位置に取り付けるためのブラケット(例えば、後述するブラケット600)を着脱可能である。取付位置は、例えば、車両フロントガラス(例えば、フロントガラスにおける上端付近)、又は車両のルームミラーや車室内の天井等としてもよい。撮影機器101Fが車両に取りけられたとき、第2の側面1012が車両の前方側を向く。このとき、第1の側面1013は、車両の後方側から見て右側を向く。第3の側面1014は、車両の後方側から見て左側を向く。第4の側面1015は、車両の後方側を向く。
A
カメラジャック5591は、撮影機器101Rと電気的に接続するためのケーブルの一端が接続される端子である。ケーブルは、例えば、撮影機器101Rとの間で各種信号(例えば、映像信号)を送受信するための信号線と、撮影機器101F側から撮影機器101R側に電力を供給するための電源線と、を有する。例えば、撮影機器101Fは、撮影機器101Rからケーブルを介して、撮影機器101Rで撮影された画像を特定する映像信号を取得したり、ケーブルを介して、撮影機器101Rに電力を供給したりするとよい。カメラジャック5591は、例えばUSB TypeCの規格に対応し、撮影機器101Fが撮影機器101Rとイーサネット規格の通信を行うための端子としてもよい。
The
第2の側面1012には、撮像レンズ5551と、放音孔553と、マイク孔554と、が設けられている。撮像レンズ5551は、撮影機器101Fが備える撮影部(後述するカメラ5515。第3のカメラの一例)が有する集光用のレンズである。放音孔553は、撮像レンズ5551の上方に設けられ、撮影機器101Fが有する音声出力部(後述する音声出力部5514)が出力した音声を、筐体1010の内部から外部に透過させる孔である。マイク孔554は、撮像レンズ5551の下方に設けられ、外部からの音を筐体1010の外部から内部に透過させる孔である。筐体1010の内部に透過した音は、撮影機器101Fが有するマイクロホン(後述するマイクロホン5521)に入力される。
The
第1の側面1013には、イベント録画ボタン5522が設けられている。イベント録画ボタン5522は、右ハンドルの車両の運転者が操作しやすいように、運転者席側を向く第1の側面1013に設けられている。イベント録画ボタン5522は、カメラ5515が撮影した画像の記録(つまり録画)の開始、又はその記録の終了を指示するための操作手段である。イベント録画(イベント記録ともいう。)が行われていないときに、ユーザによりイベント録画ボタン5522が操作されると、撮影機器101Fはイベント録画を開始する。イベント録画について詳しくは後述する。
An
イベント録画ボタン5522は、記憶媒体5500(図26を参照のこと。)に記憶された画像が再生(言い換えると画像が表示)されている期間においては、表示面5531に表示する画像を切り替るためのボタンとして機能する。この場合、イベント録画ボタン5522が操作されると、表示面5531に表示される画像は、撮影機器101Fのカメラ5515により撮影された画像(図27(a)において「フロント」と示す画像)、撮影機器101Rのカメラ402により撮影された画像(図27(a)において「リア後方」と示す画像)、撮影機器101Rの車室内撮影用リアカメラ102により撮影された画像(図27(a)において「リア室内」と示す画像)、撮影機器101Fのカメラ5515により撮影された画像(図27(a)に「フロント」と示す画像)・・・(以降、ループ)という順で切り替わるようになっている。
The
第3の側面1014には、端子5592と、記憶媒体挿入口5581と、が設けられている。端子5592は、外部の機器から電力の供給を受けるための端子である。端子5592は、例えばDCジャックである。端子5592は、電源用のコード(例えば、シガープラグコード)の一端側のコネクタが接続される。電源用コードの他端側のコネクタは、例えば車両側に設けられた給電用の端子(例えば、シガーソケット)に接続される。
A terminal 5592 and a storage
端子5592は、車両のOBDII(「II」は「2」のローマ数字である。)コネクタに接続可能なOBDIIアダプタが接続されてもよい。OBDIIコネクタは、故障診断コネクタの一例で、車両のECU(Engine Control Unit)に接続され、所定の期間毎(例えば、0.5秒毎)に各種の車両情報が出力される端子である。端子5592が、図示せぬOBDIIアダプタを用いてOBDIIコネクタと接続されることで、撮影機器101Fは、車両から動作用の電力の供給を受けるとともに、車両から車両情報を取得する。
Terminal 5592 may be connected to an OBDII adapter connectable to an OBDII (“II” is the Roman numeral for “2”) connector of the vehicle. The OBDII connector is an example of a failure diagnosis connector, and is a terminal that is connected to an ECU (Engine Control Unit) of a vehicle and outputs various vehicle information every predetermined period (for example, every 0.5 seconds). By connecting the terminal 5592 to the OBDII connector using an OBDII adapter (not shown), the photographing
車両情報は、車両の状態に関する情報である。車両情報は、例えば、車両の速度(車速)、エンジン回転数、エンジン負荷率、スロットル度、点火時期、残り燃料の割合、インテークマニホールドの圧力、吸入空気量(MAF)、インジェクション開時間、エンジン冷却水の温度(冷却水温度)、エンジンに吸気される空気の温度(吸気温度)、車外の気温(外気温度)、燃料タンクの残り燃料の量(残燃料量)、燃料流量、瞬間燃費、アクセル開度、ウインカー情報(左右のウインカーの動作(ON/OFF))、ブレーキ開度、ハンドルの回転操舵角、ギヤポジション、及びドア開閉状態の情報等の少なくとも1つ以上とするとよい。 Vehicle information is information about the state of a vehicle. Vehicle information includes, for example, vehicle speed (vehicle speed), engine speed, engine load factor, throttle degree, ignition timing, remaining fuel ratio, intake manifold pressure, intake air amount (MAF), injection opening time, engine cooling Water temperature (cooling water temperature), temperature of air taken into the engine (intake air temperature), air temperature outside the vehicle (outside air temperature), amount of remaining fuel in the fuel tank (remaining fuel amount), fuel flow rate, instantaneous fuel consumption, accelerator At least one or more of the opening degree, turn signal information (left and right turn signal operation (ON/OFF)), brake opening degree, steering wheel rotation angle, gear position, door open/closed state information, and the like may be used.
記憶媒体挿入口5581は、外部の記憶手段としての記憶媒体5500を、撮影機器101Fの内部に挿入するための挿入口である。記憶媒体5500は、例えば撮影機器101F又は撮影機器101Rで撮影された画像が記録される記憶媒体で、例えばSDカードである。SDカードは、例えば、SDメモリカード、miniSDカード、及びmicroSDカード等のいずれの形状も含む。記憶媒体5500は、さらに、記憶した画像をパーソナルコンピュータ等の情報処理装置で再生するためのビュアー(例えば、専用ビュアー)のプログラムを記憶してもよい。
The storage
第4の側面1015には、操作部5523と、表示面5531と、発光部5525と、が設けられている。操作部5523は、第1のボタン5523Aと、第2のボタン5523Bと、第3のボタン5523Cと、第4のボタン5523Dと、を有する。第1のボタン5523A、第2のボタン5523B、第3のボタン5523C、及び第4のボタン5523Dは、表示面5531の右側の一辺に沿って上下に並べて配置される。これら各ボタンに割り当てられる機能としては、例えば以下の機能がある。
The
第1のボタン5523Aは、長押しされた場合に画像を切り替るためのボタンとして機能し、短押しされた場合に記憶媒体5500のフォーマットを指示するためのボタンとして機能する。
The
長押しされた場合に表示面5531に表示される画像は、例えば、撮影機器101Fで現在撮影されている画像、及び撮影機器101R(例えば、カメラ402、及び車室内撮影用リアカメラ102)で現在撮影されている画像の一部又は全てである。長押しされた場合、図27(b)に示すように、撮影機器101Fのカメラ5515により撮影されている画像(図27(b)において「フロント」と示す画像)、撮影機器101Rのカメラ402により撮影されている画像(図27(b)において「リア後方」と示す画像)、撮影機器101Rの車室内撮影用リアカメラ102により撮影されている画像(図27(b)において「リア室内」と示す画像)、これら3つのカメラにより撮影されている画像(図27(b)において「フロント+リア」と示す画像)、これら3つのカメラにより撮影されている画像を表示せずに表示をOFFした画面(図27(b)において「画面OFF」と示す画面)、撮影機器101Fのカメラ5515(図27において「フロント」と示す画像)・・・(以降、ループ)という順で、切り替わるようになっている。図27(b)に示す「フロント+リア」と示す画像においては、カメラ5515で撮影された画像の表示領域が、カメラ402及び車室内撮影用リアカメラ102のそれぞれで撮影された画像の表示領域よりも大きく、かつL字形状の領域によって特定される。カメラ402及び車室内撮影用リアカメラ102のそれぞれで撮影された画像の表示領域は、それぞれ矩形の領域であり、例えば互いに同じサイズの領域とするとよい。
The image displayed on the
記憶媒体5500をフォーマットすることは、記憶媒体5500を初期化することであり、例えば、記憶媒体5500に記憶された画像等のデータを消去すること、撮影機器101Fが記憶媒体5500を使用できる状態にする(例えば、画像の記録及び読み出しをすることができる状態にする)ために、動作設定の内容を示す設定情報を記憶媒体5500に書き込むこと、及び記憶媒体5500を特定のファイル状態にすること、の少なくともいずれかとして把握される。
Formatting the
第2のボタン5523Bは、撮影機器101Fが再生する画像を選択する選択画面を表示するためのボタンである。第3のボタン5523Cは、撮影機器101F、及び撮影機器101Rの設定に関するメニューを表示するためのボタンである。第4のボタン5523Dは、画像の記録の開始、及び停止を指示するためのボタンである。例えば、後述する常時録画機能による録画中に、第4のボタン5523Dが短押しされた場合、その記録が一時停止する。その一時停止中に、第4のボタン5523Dが短押しされた場合、常時録画機能による画像の記録が再開する。第4のボタン5523Dが長押しされた場合、画像を記録する際のフレームレートを変更することができる。
A
表示面5531は、撮影機器101Fが有する表示部(後述する表示部5513)が表示する画像が表示される領域である。表示面5531は、例えば、長方形又は正方形の領域である。表示面5531に重ねてユーザのタッチ操作を検出するためのタッチセンサ5524が設けられている。
The
発光部5525は、第1のボタン5523Aよりも上方に設けられ、所定の色で発光する。
Light-emitting
<a-2.ブラケットの構成>
図25は、ブラケット600の構成を示す図である。図25(a)は、ブラケット600を前方側の右斜め上方向から見た図である。図25(b)は、ブラケット600を側面側から見た図である。図25(c)は、ブラケット600を前方側の右斜め下方向から見た図である。ブラケット600は、撮影機器101Fを車両に取り付ける取付部材の一例である。
<a-2. Configuration of bracket>
FIG. 25 is a diagram showing the configuration of
ブラケット600は、ボールジョイント機構を用いた取付部材である。ブラケット600において、平板状のベース部610は、車両のフロントガラスに貼り付ける取付面611を有する。ベース部610は、ボールスタッド620の支柱に対して所定角度だけ傾斜する。取付面611に両面テープ等の接着部材を貼り付け、その接着部材を介して、車両のフロントガラス等に貼り付けられる。
ボールスタッド620は、ベース部610のうち取付面611とは反対側の面から起立した部位である。ソケット部630は、ボールスタッド620のボール部621が装着される。ナット640は、ソケット部630の周囲に着脱自在に取り付けられる。ソケット部630の外周には、ネジ溝が形成されている。ソケット部630の外周に当該ネジ溝に嵌め合うナット640が装着される。ボールスタッド620のボール部621がソケット部630内に装着された状態で、ナット640が締め付けられる前は、ソケット部630はボール部621の周面に沿って所望の方向に回転して、ベース部650の姿勢及び位置を変位可能である。ナット640が締め付けられると、ベース部650の姿勢及び位置が固定される。
The
ベース部650は、ソケット部630と一対に形成され、撮影機器101Fに装着するための部位である。ベース部650は、一対のガイドレール651を下面に有する。一対のガイドレール651は、撮影機器101Fのジョイントレール5502に沿ってスライド可能に構成される。ベース部650の先端部には爪状の先端部652が設けられている。先端部652が、ジョイントレール5502の撮影機器101Fの前方側の端部付近に引っ掛けられることで、ブラケット600が撮影機器101Fに取り付けられる。
The
<a-3.撮影機器101Fの電気的構成>
図26は、撮影機器101Fの電気的構成を示すブロック図である。制御部5511は、撮影機器101Fの各部を制御する。制御部5511は、例えば、プロセッサ5511A、及びメモリ5511Bを含むコンピュータである。プロセッサ5511Aは、例えば、CPU(Central Processing Unit)、MPU(Micro Processing Unit)、GPU(Graphics Processing Unit)、ASIC(Application-Specific Integrated Circuit)、及びFPGA(Field Programmable Gate Array)等を有する。メモリ5511Bは、例えば、RAM(Random Access Memory)、及びROM(Read Only Memory)等を有する主記憶装置である。プロセッサ5511Aは、メモリ5511BのROMから読み出したプログラムをRAMに一時的に記憶させる。メモリ5511BのRAMは、プロセッサ55511Aに作業領域を提供する。プロセッサ5511Aは、プログラムの実行中に生成されるデータをRAMに一時的に記憶させながら演算処理を行うことにより、各種の制御を行う制御部5511は、さらに、時刻を計る計時部5511Cを備える。計時部5511Cは、例えばリアルタイムクロックである。計時部5511Cは、プロセッサ5511Aのマザーボードに実装されていていてもよいし、プロセッサ5511Aに外付けされてもよい。
<a-3. Electrical Configuration of
FIG. 26 is a block diagram showing the electrical configuration of the
入力部5512は、ユーザからの情報の入力を受け付ける。入力部5512は、例えば、上述したマイクロホン5521、イベント録画ボタン5522、操作部5523、及びタッチセンサ5524を有する。マイクロホン5521は、マイク孔554等を介して入射した音を電気信号に変換する。マイクロホン5521は、例えばコンデンサマイクである。タッチセンサ5524は、表示面5531においてユーザによりタッチされた位置を検出する。タッチセンサ5524は、例えば静電容量方式である。
The
表示部5513は、表示面5531に画像を表示する。表示部5513は、例えば液晶ディスプレイ(LCD;Liquid Crystal Display)である。
A
音声出力部5514は、音声を出力する。この音声としては、例えば、報知音や、BGM、音声メッセージ等がある。音声出力部5514は、例えば音声処理回路及びスピーカを有する。
カメラ5515は、撮影し、撮影により得られた映像データを生成する、カメラ5515は、例えば、撮像レンズ5551、及び撮像レンズ5551により集光された光を撮像する撮像素子を有する。撮像素子は、例えば、CMOS(Complementary MOS)又はCCD(Charge Coupled Device)とする。カメラ5515は、例えば赤(R)、緑(G)、青(B)の色成分からなるカラー(多色)の画像を生成する。
The
通信部5516は、外部の装置と通信する。通信部5516は、例えば、Wi-Fi(登録商標)、Bluetooth(登録商標)その他の無線LAN(Local Area Network)通信や近距離無線通信により、外部の装置と無線通信するための通信回路を有する。通信部5516は、例えば、LTE(Long Term Evolution)、4G、5G等の移動通信システムの規格等に準拠した通信を行うための通信回路を有してもよい。
A
センサ部5517は、各種のセンサを有する。センサ部5517は、例えば、加速度センサ、ジャイロセンサ、気圧センサ、及び照度センサの少なくともいずれかを有する。加速度センサは、例えば車両の前後、左右、上下の加速度を検出する3軸の加速度センサである。ジャイロセンサは、撮影機器101Fの傾きを検出するセンサである。加速度センサ及びジャイロセンサは、例えば、GNSS衛星からの信号が受信できない場合に、自律航法により車両の位置を推測するのに使用されてもよい。気圧センサは、気圧を測定する。気圧センサは、例えば、高低差を検知して、高速道と一般道を判定するために用いられる。照度センサは、撮影機器101Fの周辺である車室内の明るさを示す照度を検知するセンサである。照度センサは、例えば表示部5513の表示の輝度の調整に使用される。
The
リーダライタ5518は、記憶媒体挿入口5581から撮影機器101Fの内部に挿入された記憶媒体5500を保持する媒体保持部として機能する。リーダライタ5518は、記憶媒体5500にデータを書き込んだり、記憶媒体5500からデータを読み出したりする。リーダライタ5518は、記憶媒体5500を1つだけ保持するものでもよいが、2つ以上の記憶媒体5500を同時に保持することが可能に構成されてもよい。
The reader/
端子部5519は、外部の装置と電気的に接続するための端子を有する。端子部5519は、上述した、カメラジャック5591及び端子5592を有する。端子部5519に接続される装置として、車両側からの給電がなくても、撮影機器101F及び撮影機器101Rが動作できるように、外付けのバッテリが用いられてもよい。端子部5519に接続される装置は、例えば、ユーザの安全運転を支援する機能を有する装置であってもよい。このような装置として、例えば、運転手(例えば顔)を撮影して、わき見及び居眠り運転に例示される運転手の状態を検出して報知する機能を有する装置や、車両の周辺の障害物を検知して報知する機能を有する装置(例えば、前方車両追突警報システム(FCWS:Forward vehicle Collision Warning Systems)のための車両検知に使用される装置)がある。端子部5519に接続される装置は、その他にも、レーダー探知機、レーザー探知機、カーナビゲーション装置、ディスプレイ装置等の車載装置としてもよい。
The
位置情報取得部5520は、撮影機器101Fの位置(より具体的には、現在位置)を示す位置情報を取得する。撮影機器101Fの位置は、撮影機器101Fが配置された車両の位置、車両に配置された撮影機器101Rの位置、及び車両に乗車している運転手その他の人の位置と同視することができる。位置情報取得部5520は、例えば、GNSSの一つであるGPSからの信号に基づき、撮影機器101Fの位置情報(緯度情報、及び経度情報)を取得する。位置情報取得部5520は、QZSS(Quasi-Zenith Satellite System:準天頂衛星システム)として、みちびきを併せて利用してもよい。
The position
発光部5525は、所定の色で発光する。発光部5525は、例えば、発光ダイオードを有する。
Light-emitting
電源制御部5526は、撮影機器101Fの各部や、撮影機器101Rへの電力の供給を制御する。電源制御部5526は、例えば、電源スイッチや電源制御回路を有する。電源制御部5526は、端子部5519を介して車両側から供給された電力を、撮影機器101Fの各部や、撮影機器101Rへ供給する。電源制御部5526は、さらに、蓄電手段として、二次電池やボタン電池、電気二重層コンデンサ(スーパーキャパシタとも呼ばれる。)を有してもよい。
A
撮影機器101Fは、さらに、フラッシュメモリ(例えばeMMC、SSD)に例示される補助記憶装置を内部の記憶手段として有してもよい。補助記憶装置としては、光学式記憶媒体、磁気記憶媒体、及び半導体記憶媒体に例示される各種の記憶媒体を用いることができる。
The
<a-4.撮影機器101Fの録画機能>
撮影機器101Fは、録画機能として、以下の1つまたは2つ以上の機能を有するとよい。録画機能は、撮影機器101Fが撮影した画像を、所定のファイル形式の映像データとして記録(つまり、録画)する機能である。映像データは、動画形式の映像データとするとよく、例えばMPEG(Moving Picture Experts Group)形式(例えば、MPEG2、MPEG4)であるが、AVI、MOV、WMV等である。
<a-4. Recording function of photographing
The
(a-4-1.常時録画機能)
常時録画機能(常時記録機能ともいう。)は、撮影機器101Fの動作中は、撮影機器101Fのカメラ5515、並びに撮影機器101Rのカメラ402及び車室内撮影用リアカメラ102の一部又は全部により撮影された画像を継続して(つまり、常時)記録する機能である。制御部5511は、常時録画機能を実行しているときには、車両のエンジンの始動から停止までに撮像した映像データを記憶させる。
(a-4-1. Constant recording function)
The constant recording function (also referred to as the constant recording function) is used to capture images using the
(a-4-2.イベント録画機能)
イベント録画機能(イベント記録機能ともいう。)は、特定のイベントが発生したことに応じて、撮影機器101Fのカメラ5515、並びに撮影機器101Rのカメラ402及び車室内撮影用リアカメラ102の一部又は全部により撮影された画像を記録する機能である。イベントは、画像の記録を行う条件(つまり、トリガー)となる事象であり、例えば、車両の走行中におけるユーザの急ハンドル、急ブレーキ等の操作時、車両の他の物体との衝突時等とするとよい。制御部5511は、イベントが発生したことを、例えば、センサ部5517の加速度センサによる計測値に基づいて、判定する。具体的には、制御部5511は、加速度センサの計測値が所定の閾値以上となった場合又は所定の時間的変化を示した場合に、イベントが発生したと判定する。イベントの発生の判定条件はこれに限られない。制御部5511は、車両情報に基づいて、例えば車速や操舵状態等の車両の状態が所定の条件を満たした場合に、イベントが発生したと判定してもよい。制御部5511は、カメラ5515、カメラ402、及び車室内撮影用リアカメラ102の少なくともいずれかにより撮影された画像を解析して、イベントの発生を判定してもよい。制御部5511は、例えば、車両又は他車両の危険運転(例えば煽り運転、接近、又は異常接近)を検知した場合に、イベントが発生したと判定してもよい。制御部5511は、イベント録画ボタン5522が操作された場合にも、イベントが発生したと判定する。
(a-4-2. Event recording function)
The event recording function (also referred to as an event recording function) is a part or It is a function to record the image taken by all. An event is a condition (that is, a trigger) for recording an image. do it. The
制御部5511は、イベントが発生したと判定した場合、そのイベントの発生前後の所定期間(以下「イベント録画期間」という。)において撮影された画像を、記憶媒体5500に記録する。制御部5511は、例えば、カメラ5515、カメラ402、及び車室内撮影用リアカメラ102により撮影された画像をメモリ5511B(例えば、RAM)に一時的に記録しておく。制御部5511は、イベントが発生したと判定した場合は、メモリ5511Bから読み出したイベント録画期間の画像を記憶媒体5500に記録するとよい。制御部5511は、例えば、カメラ5515、カメラ402、及び車室内撮影用リアカメラ102のそれぞれについて、イベントの発生前20秒、及びイベントの発生後20秒の合計40秒の画像を1つのファイルとして生成するとよい。このイベント録画期間は一例であり、イベントの種類に応じて異なっていてもよいし、撮影機器101F及び101Rは、イベント録画期間をユーザが変更可能に構成されてもよい。制御部5511は、カメラ5515、カメラ402、及び車室内撮影用リアカメラ102のうちの一部またはすべてについて、イベント録画期間を異ならせてもよいが、全てについて同じ長さのイベント録画期間としてもよい。制御部5511は、さらに、イベントの種類を特定する情報や、イベント録画期間にセンサ部5517で計測された値(例えば、3軸の各方向の加速度)や、位置情報取得部5520で取得された位置情報を、画像と関連付けて、記憶媒体5500に記録してもよい。
When the
制御部5511は、カメラ5515、カメラ402、及び車室内撮影用リアカメラ102のうちの一部またはすべてについて、イベント録画を行う条件を異ならせてもよい。制御部5511は、例えば、センサ部5517で計測された値が所定の条件を満たした場合(例えば、閾値以上となった場合)において、イベント録画を行うときに、その条件を、カメラ5515、カメラ402、及び車室内撮影用リアカメラ102のうちの一部またはすべてで異ならせてもよい。条件は、3軸の加速度のいずれかの加速度、又は3軸の加速度の絶対値が閾値以上となったこととするとよい。イベント録画を行う条件は、カメラ5515、カメラ402、及び車室内撮影用リアカメラ102のそれぞれについてユーザが設定できるように構成されてもよい。撮影機器101F側(具体的には、カメラ5515)で生じた加速度はセンサ部5517を用いて計測され、撮影機器101R側(具体的には、カメラ402、及び車室内撮影用リアカメラ102)で生じた加速度は加速度センサ305を用いて計測されると、各カメラの位置で発生した加速度をより正確に計測して、その計測結果をトリガとしたイベント録画を行うことができる。
The
(a-4-3.駐車監視機能)
駐車監視機能は、車両の駐車中に、撮影機器101Fのカメラ5515、並びに撮影機器101Rのカメラ402及び車室内撮影用リアカメラ102の一部又は全部により撮影された画像を記録する機能である。駐車監視機能は、駐車中の車両の内部又は車両の周辺の外部を監視するための機能である。制御部5511は、車両からの電力の供給を受けない状態では、外付けバッテリからの電力の供給を受けて、記憶媒体5500に画像を記録するとよい。車両の駐車中であるか否かについて、制御部5511は、例えば、アクセサリ電源がオフされたこと、エンジンがオフされたこと、外付けバッテリからの電源供給が開始されたこと、車速が0km/h又は所定速度以下であること、及び位置情報取得部5520が取得した位置情報が所定の位置情報(例えば、自宅や勤務先、駐車場の位置情報)であること、の1つ又は複数に基づいて判定するとよい。これに限られず、制御部5511は、既に説明したような、車室内撮影用リアカメラ102により撮影された画像を解析する方法で、駐車中であるか否かを判定してもよい。
(a-4-3. Parking monitoring function)
The parking monitoring function is a function of recording images captured by the
駐車監視機能は、タイムラプスモード、及び動体検知モードを有するとよい。この場合の制御部5511は、タイムラプスモードがユーザにより選択された場合、常時録画機能及びイベント録画機能等の他の画像記録機能よりも、フレームレートを間引いて録画するとよい。例えば、他の画像記録機能のフレームレートが20~30フレーム/秒であるのに対して、タイムラプスモードのフレームレートは1フレーム/秒とするとよい。
The parking monitoring function may have a time-lapse mode and a motion detection mode. In this case, when the time-lapse mode is selected by the user, the
動体検知モードは、移動体(つまり、物体の動き)を検知したことに応じて画像を記録するモードである。移動体としては、人や他車両等がある。具体的には、制御部5511は、動体検知モードがユーザにより選択された場合、カメラ5515、カメラ402、及び車室内撮影用リアカメラ102の少なくともいずれかにより撮影された画像の変化に基づき移動体を検知したときは、その検知前後の所定期間に撮影された画像を記録するとよい。制御部5511が、少なくともいずれかのカメラにより撮影された画像に基づいて移動体を検知した場合に、カメラ5515、カメラ402、及び車室内撮影用リアカメラ102のすべてのカメラで撮影された画像を記録すると、そのときの車両前方、車両後方、及び車室内という広範囲の様子を後で確認できるようにすることができる。制御部5511が、移動体を検知したカメラのみを対象として、そのカメラで撮影された画像を記録すると、その移動体を撮影した画像を記録しつつ、記憶媒体5500等の記憶容量を節約することができる。なお、フレームレートは、常時録画機能及びイベント録画機能等と同じフレームレートとするとよい。
The moving body detection mode is a mode for recording an image in response to detection of a moving body (that is, movement of an object). Mobile objects include people, other vehicles, and the like. Specifically, when the moving object detection mode is selected by the user, the
動体検知モードにおいて、カメラ5515、カメラ402、及び車室内撮影用リアカメラ102のうちの一部またはすべてについて、撮影された画像を記録する条件(つまり、トリガーとなる条件)を異ならせてもよい。制御部5511は、例えば、動体検知の感度を、カメラ5515、カメラ402、及び車室内撮影用リアカメラ102のうちの一部またはすべての条件を異ならせてもよい。画像を記録する条件は、カメラ5515、並びにカメラ402、及び車室内撮影用リアカメラ102のそれぞれについてユーザが設定できるように構成されていてもよく、例えば、動体検知モードの「OFF」(つまり、動体検知に応じて画像を記録しないこと)、「低」、「普通」、及び「高」のいずれかをユーザが選択できるように構成されているとよい。後者ほどわずかな移動体の動きでも録画されやすい。デフォルトでは、カメラ5515、カメラ402、及び車室内撮影用リアカメラ102のそれぞれについて、感度が「普通」に設定されているとよい。
In the moving object detection mode, conditions for recording the captured image (that is, trigger conditions) may be changed for some or all of the
なお、撮影機器101Fとして、表示部5513を有しない撮影機器が用いられてもよい。また、撮影機器101Fの筐体は、直方体状のものでなくてもよく、例えば円筒状等の撮影機器であってもよい。また、記憶媒体5500にデータを記録する処理は、例えば、記憶媒体5500以外の記憶装置にデータを記録する処理や、外部の装置にデータを送信する処理と置き換え可能、又は組み合わせ可能である。
Note that an imaging device that does not have the
[b.ビュアー及びそれに関する機能について]
図28は、撮影機器101Fのカメラ5515、並びに撮影機器101Rのカメラ402、及び車室内撮影用リアカメラ102で撮影された画像を再生するためのビュアーの画面の一例を示す図である。このビュアーは、上述した、パソコン用あるいはスマホ、タブレット等の情報処理装置用のビュアープログラムにより実現されるとよいが、撮影機器101Fでの画像の表示に使用されるビュアープログラムにより実現されてもよい。図29~図31は、ビュアーの画面に含まれる各表示要素を説明する図である。図29において丸印で囲んだ数字と、図30及び図31の表に示す「No.」の欄の数字とが対応している。ビュアーの画面に含まれる各表示要素は、図30及び図31の表に示す表示名の表示要素で、図30及び図31で説明されている機能を発揮する表示要素である。なお、図30及び図31の「フロントカメラ」はカメラ5515に対応し、「リア後方カメラ」はカメラ402に対応し、「リア室内カメラ」は車室内撮影用リアカメラ102に対応する。
[b. About the viewer and related functions]
FIG. 28 is a diagram showing an example of a viewer screen for reproducing images taken by the
図28に示すように、車両の前方を撮影するカメラ5515により撮影された画像が最も大きなサイズで、矩形の領域T1に表示される。領域T1よりも右側には、それよりも小さなサイズで、撮影機器101Rのカメラ402で撮影された画像が矩形の領域T2に表示され、車室内撮影用リアカメラ102で撮影された画像が矩形の領域T3に表示される。ビュアーは、カメラ5515、カメラ402、及び車室内撮影用リアカメラ102で撮影された画像を同期させて再生する機能を有するとよい。このようにすると、ユーザが、各時点の車両の前方、後方、及び車室内の様子を同時に確認することができる。なお、図32(a)に示すように、デフォルトではビュアーの画面に再生リストLが表示されるが、ユーザの操作に応じて、図32(b)に示すように、再生リストLに代えて、撮影地点を表示するための地図Mが表示されてもよい。
As shown in FIG. 28, the image captured by the
また、ビュアーのプログラムは、カメラ402で撮影する画像については、撮影した画像をそのまま表示するモード(つまり、上下左右を見たままの画像とする正像を表示するモード)と、撮影した画像を左右反転した画像を表示するモード(つまり、鏡像を表示するモード)と、を有するとよい。カメラ402と車室内撮影用リアカメラ102とは互いに反対方向を撮影することがある。この場合、これらのカメラで撮影された画像同士では、左右の関係が反対になる。そのため、撮影された画像をそのまま表示するのか(つまり、正像で表示するのか)、又は鏡像を表示して左右を揃えるのかをユーザが選択できるように構成されているとよい。
In addition, the viewer program has a mode for displaying the photographed image as it is (that is, a mode for displaying a normal image in which the image is viewed vertically and horizontally) and a mode for displaying the photographed image. and a mode for displaying a horizontally inverted image (that is, a mode for displaying a mirror image). The
撮影機器101Fにより記憶媒体5500に記録される各カメラの画像は正像で固定されているとよいが、例えば、カメラ5515又は車室内撮影用リアカメラ102で撮影された鏡像で記録することが可能な構成としてもよい。また、車室内撮影用リアカメラ102により撮影された画像は正像の表示に固定されているが、左右を判定した鏡像を表示するモードがビュアーのプログラムに備えられてもよい。このようにすると、画像の記録、及び表示の自由度が向上する効果が期待できる。
The image of each camera recorded in the
[c.車室内撮影用リアカメラ102の撮影画像の他の例]
図33は、車室内撮影用リアカメラ102の撮影画像の図11とは別の例を示す図である。図33に示すように、車室内撮影用リアカメラ102によると、車両後方から車両前方に向かって見た場合の左右の状況を広角に撮影、記録できることが見て取れる。また、領域T4、T5に示すように、車両の左右の状況、より具体的には、車幅方向における外側に位置する側道や隣車線等の周囲の状況を撮影、記録できることが見て取れる。また、領域T6に示すように、搭乗者の顔が写らない、又は写りにくいプライバシーに配慮した撮影が可能である。
[c. Another example of the captured image of the vehicle interior capturing rear camera 102]
FIG. 33 is a diagram showing another example of an image captured by the
[d.前方車接近警告機能と撮影画像の記録との関係について]
撮影機器101Fは、前方車接近警告機能を有するとよい。前方車接近警告機能は、車両の走行中、前方車両(つまり、先行車)と接近した場合に、警告する機能である。前方車接近警告機能は、例えば、運転者による前方車両に対する意図しない煽り運転や、前方車両への衝突を回避するための機能である。前方車両との接近の検知は、例えば、制御部5511がカメラ5515により撮影された画像を解析して検知する方法や、レーザー測距センサ等のセンサ類を用いて検知する方法で行われるとよい。警告は、警報や報知等と読み替えられてもよく、音、音声、表示、発光その他の人間(例えば、運転者)が知覚可能な方法により行われるとよい。
[d. Regarding the relationship between the forward vehicle approach warning function and the recording of the captured image]
The photographing
この構成の下、撮影機器101Fの制御部5511は、前方車接近警告機能による警告をする場合に、カメラ5515、カメラ402、及び車室内撮影用リアカメラ102のカメラで撮影された画像を記録するとよい。このようにすると、前方車両と接近したときの車両前方、車両後方、及び車室内という広範囲の様子を後で確認できるようにすることができる。画像を記録する期間は、前方車接近警告機能による警告をしている期間と一致させてもよいが、その期間の前、後、又は前後の所定時間長の期間を含むようにするとよい。このようにすると、前方車両に接近した期間付近の車両前方、車両後方、及び車室内の様子を後で確認できるようにすることができる。カメラ5515、カメラ402、及び車室内撮影用リアカメラ102の撮影画像の記録期間の時間長は同一であってもよいが、少なくとも一部が他と異なっていてもよく、例えばカメラ5515の記録期間の時間長を、カメラ402、及び車室内撮影用リアカメラ102の記録期間の時間長よりも大きくすると、記憶媒体5500等の記録容量を節約しつつ、特に車両前方の様子を後で詳細に把握するのに役立つ。
Under this configuration, the
なお、ここでは、前方車接近警告機能と、カメラ5515、カメラ402、及び車室内撮影用リアカメラ102のカメラで撮影された画像の記録との関係を説明したが、前方車接近警告機能は、車線逸脱警告機能、又は前方車発進警告機能と置き換え可能、又は組み合わせ可能である。車線逸脱警告機能は、車両の走行中、自車両が走行車線からはみ出した場合に、警告する機能である。前方車発進警告機能は、自車両の停車中に前方車両が発進しても自車両が発進しない場合に警告する機能である。車線逸脱警告機能において車線逸脱を検知する方法や、前方車発進警告機能において自車両の停車中に前方車両が発進したことを検知する方法については、制御部5511がカメラ5515により撮影された画像を解析して検知する方法や、その他の周知の方法で行われるとよい。
Here, the relationship between the forward vehicle proximity warning function and the recording of the images taken by the
[e.後方車接近記録・警告機能と撮影画像の記録との関係について]
撮影機器101Fは、後方車接近記録・警告機能を有するとよい。後方車接近記録・警告機能は、車両の走行中、後方車両(つまり、後続車)と接近した場合に、警告する機能である。後方車接近記録・警告機能は、例えば、後方車両による煽り運転(車間距離不保持)等の危険運転を検知して、少なくともカメラ402の撮影画像を記録するとともに警告する機能である。後方車両との接近の検知は、例えば、制御部5511がカメラ402により撮影された画像を解析して検知する方法や、レーザー測距センサ等のセンサ類を用いて検知する方法で行われるとよい。警告は、警報や報知等と読み替えられてもよく、音、音声(例えば、「後方危険運転を検知しました!」というメッセージの出力)、表示、発光その他の人間(例えば、運転者)が知覚可能な方法により行われるとよい。
[e. Regarding the relationship between the rear vehicle approach recording/warning function and the recording of the captured image]
The
この構成の下、撮影機器101Fの制御部5511は、後方車接近記録・警告機能による警告をする場合に、カメラ5515、カメラ402、及び車室内撮影用リアカメラ102のカメラで撮影された画像を記録するとよい。このようにすると、後方車両が接近してきたときの車両前方、車両後方、及び車室内という広範囲の様子を後で確認できるようにすることができる。画像を記録する期間は、後方車接近記録・警告機能による警告をしている期間と一致させてもよいが、その期間の前、後、又は前後の所定時間長の期間を含むようにするとよい。このようにすると、後方車両に接近した期間付近の車両前方、車両後方、及び車室内の様子を後で確認できるようにすることができる。カメラ5515、カメラ402、及び車室内撮影用リアカメラ102の撮影画像の記録期間の時間長は同一であってもよいが、少なくとも一部が他と異なっていてもよく、例えばカメラ402、及び車室内撮影用リアカメラ102の記録期間の時間長を、カメラ5515の記録期間の時間長よりも大きくすると、記憶媒体5500等の記録容量を節約しつつ、特に車両後方の様子を後で詳細に把握するのに役立つ。なお、ここでは、「後方車接近記録・警告機能」として説明したが、警告については行わない「後方車接近記録機能」に置き換えてもよい。
Under this configuration, the
上述した実施形態で「エンジン」、「アクセサリ電源」として説明した箇所は、「駆動源」、「車両の電源」と読み替えられてもよい。車両としては、例えば、エンジンを駆動源として有する内燃機関車両、エンジンと走行モータとを駆動源として有するハイブリット車両、走行モータを駆動源として有する電気自動車等とするとよい。 The parts described as "engine" and "accessory power supply" in the above-described embodiment may be read as "drive source" and "vehicle power supply". Examples of the vehicle include an internal combustion engine vehicle having an engine as a drive source, a hybrid vehicle having an engine and a travel motor as drive sources, and an electric vehicle having a travel motor as a drive source.
また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。
なお、上述の実施例は少なくとも特許請求の範囲に記載の構成を開示している。
Further, the control lines and information lines indicate those considered necessary for explanation, and not all control lines and information lines are necessarily indicated on the product. In practice, it may be considered that almost all configurations are interconnected.
It should be noted that the above embodiments disclose at least the structures described in the claims.
なお、本発明の範囲は、明細書に明示的に説明された構成や限定されるものではなく、本明細書に開示される本発明の様々な側面の組み合わせをも、その範囲に含むものである。本発明のうち、特許を受けようとする構成を、添付の特許請求の範囲に特定したが、現在の処は特許請求の範囲に特定されていない構成であっても、本明細書に開示される構成を、将来的に特許請求の範囲とする意思を有する。 It should be noted that the scope of the present invention is not limited to the configurations or limitations expressly set forth herein, and encompasses within its scope any combination of the various aspects of the invention disclosed herein. While the claimed features of the invention are identified in the appended claims, any configuration not presently specified in the claims is disclosed herein. We intend to claim such configurations in the future.
本願発明は上述した実施の形態に記載の構成に限定されない。上述した各実施の形態や変形例の構成要素は任意に選択して組み合わせて構成するとよい。また各実施の形態や変形例の任意の構成要素と、発明を解決するための手段に記載の任意の構成要素又は発明を解決するための手段に記載の任意の構成要素を具体化した構成要素とは任意に組み合わせて構成するとよい。これらについても本願の補正又は分割出願等において権利取得する意思を有する。「~の場合」「~のとき」という記載があったとしてもその場合やそのときに限られる構成として記載はしているものではない。これらの場合やときでない構成についても開示しているものであり、権利取得する意思を有する。また順番を伴った記載になっている箇所もこの順番に限らない。一部の箇所を削除したり、順番を入れ替えた構成についても開示しているものであり、権利取得する意思を有する。 The present invention is not limited to the configurations described in the above-described embodiments. The constituent elements of the above-described embodiments and modifications may be arbitrarily selected and combined. In addition, arbitrary constituent elements of each embodiment and modifications, arbitrary constituent elements described in Means for Solving the Invention, or constituent elements embodying arbitrary constituent elements described in Means for Solving the Invention and may be configured in any combination. We intend to acquire the rights for these as well in the amendment of the present application or in the divisional application. Even if there is a description of "in the case of" or "when", it is not described as a configuration limited to that case or that time. We disclose and intend to reserve these occasions and occasions. Moreover, the parts described with order are not limited to this order. It also discloses a configuration in which some parts are deleted or the order is changed, and there is an intention to acquire the right.
また、意匠登録出願への変更により、全体意匠又は部分意匠について権利取得する意思を有する。図面は本装置の全体を実線で描画しているが、全体意匠のみならず当該装置の一部の部分に対して請求する部分意匠も包含した図面である。例えば当該装置の一部の部材を部分意匠とすることはもちろんのこと、部材と関係なく当該装置の一部の部分を部分意匠として包含した図面である。当該装置の一部の部分としては、装置の一部の部材としても良いし、その部材の部分としても良い。全体意匠はもちろんのこと、図面の実線部分のうち任意の部分を破線部分とした部分意匠を、権利化する意思を有する。また、装置の筐体の内部のモジュール・部材・部品、画像等についても、図面に表示されているものは、いずれも独立して取引の対象となるものであって、同様に、意匠登録出願への変更を行って権利化を行う意思を有するものである。 In addition, the applicant intends to acquire rights to the entire design or partial design by converting the design registration application. Although the entire device is drawn in solid lines in the drawing, the drawing includes not only the overall design but also the partial design claimed for a part of the device. For example, it is a drawing that includes a part of the device as a partial design regardless of the member, as well as a partial design of a part of the member of the device. The part of the device may be a part of the device or a part of the member. We intend to obtain rights not only for the overall design, but also for the partial design in which any part of the solid line part of the drawing is a broken line part. In addition, the modules, members, parts, images, etc. inside the housing of the device, which are displayed in the drawings, are all subject to trade independently. have the intention of obtaining rights by making changes to
なお、上述の実施例は少なくとも以下の構成を開示している。
〔構成1〕
本情報処理システムは、
車両後方から車両前方に向かって撮影した車室内の映像データを処理するとよい。
このようにすれば、車両後方から車両前方に向かって撮影した車室内の映像データを処理することができる。例えば、従来の車両前方から車両後方に向かって撮影した車室内の映像データでは、死角に位置しており、処理対象とすることが不可能であった或いは困難であった対象、要素、イベント等を、車室内を従来とは異なる方向から撮影することにより、すなわち、車両後方から車両前方に向かって撮影することによって、良好に検知、識別、認識、判定等の処理を行うことが可能となるので、ユーザは、それらの処理に基づいて新たに提供される機能を利用することができる。
〔構成2〕
本情報処理システムは、
車両後方から車両前方に向かって撮影した車室内の映像データと、車両後方から車両後方外部を撮影した車外の映像データと、を処理するとよい。
このようにすれば、車両後方から車両前方に向かって撮影した車室内の映像データと、車両後方から車両後方外部を撮影した車外の映像データと、を処理することができる。例えば、従来の車両前方から車両後方に向かって撮影した車室内の映像データでは、死角に位置しており、処理対象とすることが不可能であった或いは困難であった対象、要素、イベント等を、車室内を従来とは異なる方向から撮影することにより、すなわち、車両後方から車両前方に向かって撮影することによって、良好に検知、識別、認識、判定等の処理を行うことが可能となるので、ユーザは、それらの処理に基づいて新たに提供される機能を利用することができる。
〔構成3〕
本発明に係る情報処理システムは、
前記車室内の映像データを解析し、解析の結果に基づき状況を判定する制御部を、有するようにするとよい。
このようにすれば、制御部が、従来とは異なる方向から撮影された車室内の映像データを解析することで、様々な状況について新たに或いは従来と比べてより正確に判定処理を行うことが可能となり、ユーザは新たにより正確な判定に基づく新たな機能を利用することができる。
〔構成4〕
本発明に係る情報処理システムは、
前記制御部が、前記車室内の映像データに基づき前記車室内の人物の有無を判定し、前記人物に対してフィルタをかけた映像データを作成し、出力するようにするとよい。
このようにすれば、車内を車両後方から車両前方に向かって撮影することで、人の顔が撮影される機会自体が減少していることに加え、更に、撮影された人物にフィルタをかけることで従来よりも車内の人物のプライバシーに配慮しながら行動を撮影、記録することができる。これによりユーザは、例えばバスやタクシー等の利用者が感じる、自身の映像が記録されることに対する抵抗感を、低減させることができる。
〔構成5〕
本発明に係る情報処理システムは、
前記制御部が、前記車室内の映像データに基づき当該映像データに写った前記車両の外部の対象の状態を判定し、前記対象の状態に関する情報を出力するようにするとよい。
このようにすれば、制御部は、例えば、方向指示器を出したときに、サイドに車や人、障害物がいる状況や、車内に人がいない状態で駐車している自車両に不自然に接近する者がいる状況や、そのような者が車内を覗き込んでいるような状況や、エンジン始動時、徐行時、走行時等に車両の周囲に、人、特に子供が存在する、接近する或いは遊んでいるような状況や、車両の後方で側方からの煽りを受けているような状況等について、判定することができる。また、制御部は、それらの状況の判定結果に応じて、適切な通知や警告を、ドライバー等に出力することができるので、ユーザは車両や車両周辺の異常や危険にいち早く気が付き、それに対応することができる。
〔構成6〕
本発明に係る情報処理システムは、
前記制御部が、前記車室内の映像データに基づき前記車両の天井の設置物の異常を判定し、前記異常に関する情報を出力するようにするとよい。
このようにすれば、制御部は、例えば、ルームランプの点灯状態及び車内の人の有無や、ネットが荷物の入れ過ぎによりたわんでいないか、左右の留め具の固定等が外れていないか、プロジェクタの向きや状態、プロジェクタの映像の位置や状態、プロジェクタと後部座席の乗客の位置関係等が適切であるか、フリップダウンモニタの開閉状態や、映像が出ているか否かの起動状態が適切であるか、等を判定することができる。また、制御部は、それらの状況の判定結果に応じて、適切な通知や警告を、ドライバー等に出力することができるので、ユーザは容易に車両を適切な状態に維持することができる、また、車両の異常にいち早く気がつくことができる。
〔構成7〕
本発明に係る情報処理システムは、
前記制御部が、前記車室内の映像データに基づき前記車両の荷物の状態を判定し、前記荷物の状態に関する情報を出力するようにするとよい。
このようにすれば、制御部は、例えば、運転手席の後ろに置かれた荷物の状態、荷台や座席と荷物の位置関係、推定される荷物の重心の位置、複数の荷物の重心位置の位置関係、車両の速度や加速度及びそれらの変化に関連した荷物の位置の変化、荷物が荷台や座席から落下する危険性の高さ、積み上げられた荷物が崩れる危険性の高さ、荷台や座席上での荷物の滑り具合、荷物の崩れと後方から撮影した車内の窓越しに撮影された他車両による煽りや接触の関連性、等を判定することができる。また、制御部は、荷物の状態の判定結果に応じて、適切な通知や警告を、ドライバー等に出力することができる。それによりドライバーは、荷物の荷崩れ等を心配せずに運転に集中することができる。
〔構成8〕
本発明に係る情報処理システムは、
前記制御部が、前記車室内の映像データに基づき車両に配置された表示部の状態を判定し、前記表示部の状態に関する情報を出力するようにするとよい。
このようにすれば、表示部は、例えば座席背面に設けられたモニタ、天井に設けられたモニタの状態、運転席と助手席の間の前方のセンター付近に設置されたセンターモニタの表示内容や操作の有無、表示部に対して行われた具体的な操作の内容、映像記録時の車両が自動運転中であるか、手動運転中であるか、等の状態を判定することができる。また、制御部は、それらの状況の判定結果に応じて、適切な通知や警告を、ドライバー等に出力することができる。またユーザは、ドライバーの適切な運転操作中に事故等に巻き込まれた場合に、事故が端末の操作時に発生したものではないこと、事故が端末の誤操作によるものではないこと、事故が自動運転中に起きたものであるか手動運転中に起きたものであるか、等についての、客観的証拠を提供することができる。
〔構成9〕
本発明に係る情報処理システムは、
前記制御部が、前記映像データに基づき人の頭部を判定し、前記映像データ内で前記頭部が占める割合に関する情報を出力するようにするとよい。
このようにすれば、表示部は、例えば映像の画面内に頭部が写っているか、写っている頭部の画面内に占める割合がどの程度であるか、そのような事態が想定される設置状態にあるか、等を判定することができる。また、制御部は、それらの状況の判定結果に応じて、適切な通知や警告を、ドライバー等に出力することができる。それにより、ユーザは、後部座席に人が座ったとき、その人の後頭部が画面全体にずっと映っているような映像データばかりが記録されることを回避できる。
〔構成10〕
本発明に係る情報処理システムは、
前記制御部が、前記映像データに基づき前記車両が駐車状態にあるかを判定し、前記車両が前記駐車状態にある場合、駐車監視モードへの切り替え命令を出力するようにするとよい。
このようにすれば、制御部は、人が車内にいるか、人が車内からいなくなったか、車両が駐車状態であるか、等を判定することができる。制御部は、車両が駐車状態であると判定した場合、撮影モードを駐車監視モードに切り替える命令を出力する。それにより、車両が駐車状態にある場合、制御部は、例えば車両のフロントガラス、リアガラス、サイドの窓ガラスの領域内から不審な接近者を判別するための処理に、演算能力を優先的に割り当てることができるので、ユーザは、より効率的な情報処理システムを使用することができる。
〔構成11〕
本発明に係る情報処理システムは、
前記制御部が、前記映像データに基づき車内の人物の状態を判定し、前記車内の人物の状態に関する情報を出力するようにするとよい。
このようにすれば、制御部は、車内の人物の状態、特に車両後方の人物の状態を、従来よりも高い精度で判定することができる。また、ユーザは、人物の状況の判定結果に応じて、適切な通知や警告を受け取ることができる。
〔構成12〕
本発明に係る情報処理システムは、
前記制御部が、前記映像データに基づき車内の人物の置き去り状態を判定し、前記置き去り状態に関する情報を出力するようにするとよい。
このようにすれば、制御部は、映像内に人物がいるか、映像内の人物が子供や障碍者であるか、子供や障碍者以外の人物が乗車しているか、車両が駐車状態であるか、子供や障碍者等の置き去りの状態であるか、等を判定する。また、制御部は、置き去りの状況の判定結果に応じて、適切な通知や警告を、ドライバーや車両周囲等に出力することができる。これにより、ユーザは、高精度なリア側からの置き去り防止機能を利用することができる。
〔構成13〕
本発明に係る情報処理システムは、
前記制御部が、前記映像データに基づき車内の人物の居眠り又は睡眠状態を判定し、前記居眠り又は睡眠状態に関する情報を出力するようにするとよい。
このようにすれば、制御部は、映像内に人物がいるか、映像内の人物がドライバーであるか或いは同乗者であるか、ドライバーの頭部が写っているか、頭部の状態が居眠りに関する警告のパターンを示しているか、後部座席の同乗者の顔や頭部が写っているか、顔や頭部の状態が睡眠状態のパターンを示しているか、等を判定する。また、制御部は、置き去りの状況の判定結果に応じて、適切な通知や警告を、ドライバーや車両周囲等に出力することができる。それによりドライバーは、自身の居眠りの兆候を確認や、同乗者の睡眠状態に配慮して運転のきっかけを得ることが容易になる。
〔構成14〕
本発明に係る情報処理システムは、
人検知センサを有し、前記人検知センサによる検知信号を、少なくとも、前記判定を開始するトリガとするか、又は、前記判定に利用するようにするとよい。
このようにすれば、例えば焦電型赤外線センサやサーモセンサを用いることで、映像データをAI処理するよりも低負荷で、子供、障碍者等を識別することができる。常にAIによる処理を実行することは大きな演算負荷を必要とするので、別個の人検出可能なセンサを用いて人の存在を検出し、人検出可能なセンサによる車内での人の検知結果を、映像データに基づく人検知処理を開始するトリガとして利用することが、演算負荷の低減及び高精度の人検知の観点で有利である。更に、例えば人検出可能なセンサの検知範囲を車両の後部領域あるいは後部座席付近に限定することで、運転手と乗客とを、高精度に分けて判別することができる。それによりユーザは、同乗者に起こり得るリスクを低減させることができる。
〔構成15〕
本発明に係る情報処理システムは、
異なる複数の位置で、車両後方から車両前方に向かって前記車室内を撮影するようにするとよい。
このようにすれば、例えば広角カメラにより複数の位置で撮影された映像データを組み合わせることで、ユーザは、車両内外の映像をぐるりと見渡すことができる。
〔構成16〕
本発明に係る情報処理システムは、
前記車両の開閉部の開閉動作をトリガとして、映像の撮影又は記録を開始する、又は、映像の撮影又は記録の設定を変更するようにするとよい。
このようにすれば、ハッチ等の開閉動作をきっかけとして、映像の撮影又は記録の開始、映像の撮影又は記録の設定の変更を行うことで、ユーザは、撮影環境や撮影状況の変化が大きい場合にも、確実に適切な設定で撮影された映像データを獲得することが可能なる。
〔構成17〕
本発明に係る情報処理システムは、
前記車両の開閉部の開閉動作に加え、前記車両の走行状態、前記車両の駆動源の状態、及び前記車両の電源の状態の少なくともいずれかをトリガとして、
映像の撮影又は記録を開始する、又は、
映像の撮影又は記録の設定を変更するとよい。
このようにすると、車両の開閉部の開閉動作に加え、車両の走行状態、車両の駆動源の状態、及び車両の電源の状態という少なくともいずれかの状況に応じた方法で、映像の撮影又は記録を開始し、又は設定を変更できる。
〔構成18〕
本発明に係る情報処理システムは、
前記車両の複数箇所に設けられた収音手段の少なくともいずれかにより収音された音を、撮影した映像とともに記録し、
前記車両の開閉部の開閉動作をトリガとして、記録する音声の設定を変更するとよい。
このようにすると、車両の開閉部の開閉動作をトリガとして、記録する音声の設定を変更することができる。
〔構成19〕
本発明に係る情報処理システムは、
前記車両の開閉部として、前記車両後方に設けられた開口部を開閉する後方開閉部があり、
前記後方開閉部に設けられた撮影機器のカメラが、前記開閉部が開状態である場合、前記車両後方外部を撮影し、前記後方開閉部が閉状態である場合、前記車両後方から車両前方に向けて撮影するとよい。
このようにすると、車両後方に設けられた開口部の開閉状態に応じて撮影方向が変化し、後方開閉部が開状態であるときは車両後方外部を撮影し、閉状態であるときは車両後方から車両前方を撮影するという具合に、開閉状態に応じて適切な方向を撮影することができる。
〔構成20〕
本発明に係る情報処理システムは、
前記後方開閉部は、上方へ開き、
前記撮影機器のカメラは、前記後方開閉部が開状態である場合、前記車両後方外部を下方に向けて撮影し、前記後方開閉部が閉状態である場合、前記車両後方から車両前方に向けて撮影するとよい。
このようにすると、上方へ開く開口部の開閉状態に応じて撮影方向が変化し、後方開閉部が開状態であるときは車両後方外部を下方に向けて撮影し、閉状態であるときは車両後方から車両前方を撮影するという具合に、開閉状態に応じて適切な方向を撮影することができる。
〔構成21〕
本発明に係る情報処理システムは、
前記後方開閉部が閉状態から開状態に変化した場合、前記撮影機器のカメラが撮影した画像の所定の記録を開始させるとよい。
このようにすると、後方開閉部が閉状態から開状態に変化した場合に、撮影機器が撮影した画像の所定の記録を開始させることができる。後方開閉部が閉状態から開状態が変化した場合として、人が乗降する場合が考えられるから、人が存在することで発生する事象を撮影し、確認できるようにすることができる。
〔構成22〕
本発明に係る情報処理システムは、
前記撮影機器は、前記車両の駆動源又は電源がオフされた場合に、外部からの電力の供給を受けて又は内部の電源により動作可能であり、
前記車両の駆動源又は電源がオフされているときに前記後方開閉部が開状態になった場合、前記撮影機器が撮影した画像の所定の記録を開始させるとよい。
このようにすると、後方開閉部が閉状態から開状態に変化した場合に、撮影機器が撮影した画像の所定の記録を行うことができる。後方開閉部が閉状態から開状態に変化した場合には、人の乗降や物の出し入れ等の事象が発生する可能性があると考えられるが、その様子を撮影することができる。
〔構成23〕
本発明に係る情報処理システムは、
前記撮影機器は、指定時間帯内において、当該撮影機器の電源をオンした状態で待機しており、
前記指定時間帯内において、前記後方開閉部が閉状態から開状態に変化した場合、前記所定の記録を開始させるとよい。
このようにすると、後方開閉部が閉状態から開状態に変化した場合に、速やかに撮影機器が撮影した画像の所定の記録を開始させることができ、後方開閉部が開状態に変化したときの状況をより確実に撮影し記録することができる。
〔構成24〕
本発明に係る情報処理システムは、
前記撮影機器は、前記後方開閉部が閉状態で、前記車両の駆動源又は電源がオンされている場合、前記カメラで撮影しており、前記後方開閉部が開状態となった場合には、前記車両の駆動源又は電源がオフされた後も、前記カメラによる撮影を指定時間長だけ延長して、撮影した画像の記録を行うとよい。
このようにすると、車両後方から車両前方に向けた撮影をしており、後方開閉部が閉状態から開状態に変化した場合に、指定時間長だけ延長して撮影した画像を記録するので、車両の駆動源又は電源がオフされた後も、後方開閉部が開状態に変化したときの状況を撮影し記録することができる。
〔構成25〕
本発明に係る情報処理システムは、
前記撮影機器は、前記後方開閉部が開状態となった場合において、前記開口部を介して人の降車があると判定したときは、前記指定時間長だけ延長して撮影した画像の記録を行うとよい。
このようにすると、後カメラで車室内で撮影していた対象を、後方車外方向でも引き続き撮影することができる。
〔構成26〕
本発明に係る情報処理システムは、
前記車室内の映像データと前記車外の映像データとを1つのカメラで撮影するようにするとよい。
このようにすれば、少なくとも、車両後方から前方に向かって撮影した車内の映像と車両後方から車両後方外部の映像を1つの映像データとして撮影することができる。適切な画角や取り付け位置を選択することにより、映像データに、車両直後の映像、車両前方の映像、車両前方及び車両後方の仰角方向の映像等を含ませることも可能となる。それによりユーザは1つの広角カメラを車両後方に設けることで、車両に様々な機能を追加することができる。また、リア側を1つのカメラで実装すると、リア側のカメラを室内側のカメラと後方側のカメラの2つのカメラとする場合に比べて、コストダウン、設置の手間の軽減、小型化が可能となる
〔構成27〕
本発明に係る情報処理システムは、
前記1つのカメラは半天球カメラであるようにするとよい。
このようにすれば、一般的な広角カメラよりもより広範囲の撮影範囲をカバーすることができる。例えば240°以上の画角を有する半球カメラは、車両後方から前方に向かって撮影した車内の映像、車両直後の映像、車両前方の映像のみならず、車両前方及び車両後方の仰角方向の映像等を1つの映像データとして撮影することができるので、ユーザは、映像データから、例えば目的の時点での車両の前方及び後方の信号の状態も確認すること
〔構成28〕
本発明に係る情報処理システムは、
前記車両に人が乗っていると判定した場合に、前記車室内を撮影した画像の画像情報を所定の出力先に出力するとよい。
このようにすると、車両に人が乗っているときの様子を撮影画像から把握しやすくすることができる。車両の車室内において、例えば、トラブルや何らかの事象が発生するのは、車両に人が乗っている状況であることもよくある。車両に人が乗っているときの様子を把握しやすくすることは、そのような事象の発生の有無や発生の状況を確認する上で、有用である。
〔構成29〕
本発明に係る情報処理システムは、
前記車両に人が乗っていると判定した場合には、前記車両の駆動源又は前記車両の電源がオンかオフかに関わらず、前記車室内を撮影した画像の画像情報を前記所定の出力先に出力するとよい。
このようにすると、車両の駆動源又は車両の電源がオンかオフかに関わらず、車両に人が乗っているときの様子を撮影画像から把握しやすくすることができる。例えば、車両に人が乗っている状況であれば、車両の駆動源又は車両の電源がオンかオフかに関わらず、車両の車室内においてトラブルや何らかの事象が発生する可能性はある。そのため、車両の駆動源又は車両の電源がオンかオフかに関わらず、車両に人が乗っているときの様子を把握しやすくすることは、そのような事象の発生の有無や発生の状況を確認する上で、有用である。
〔構成30〕
本発明に係る情報処理システムは、
前記車室内において人がしゃべったと判定した場合に、前記車室内を撮影した画像の画像情報を所定の出力先に出力するとよい。
このようにすると、車室内の人がしゃべったときの様子を撮影画像から把握しやすくすることができる。例えば、車両の車室内において、トラブルや何らかの事象が発生した場合は、それに関することを人がしゃべることがある。人がしゃべったときの車室内の様子を把握しやすくすることは、そのような事象の発生の有無や発生の状況を確認する上で、有用である。
〔構成31〕
本発明に係る情報処理システムは、
前記車両において人が手を伸ばしたと判定した場合に、前記車両の内部を撮影した画像の画像情報を所定の出力先に出力するとよい。
このようにすると、車室内の人が手を伸ばしたときの様子を撮影画像から把握しやすくすることができる。例えば、車両の車室内において、トラブルや何らかの事象が発生した場合は、暴力行為や威嚇行為が行われる可能性があると考えられる。人が腕を伸ばす行為があった場合、殴るなどの行為の発生が疑われる。車室内において人が手を伸ばしたときの車室内の様子を把握しやすくすることは、そのような事象の発生の有無や発生の状況を確認する上で、有用である。
〔構成32〕
本発明に係る情報処理システムは、
前記車室内の映像データを取得する第1のカメラと、前記車外の映像データを取得する第2のカメラを有する撮影機器と、を含むようにするとよい。
このようにすれば、車室内の映像データを取得するカメラと、車外の映像データを取得する撮影機器を、撮影目的等に応じて、それぞれ別々に且つより柔軟に設計することが可能となる。また、ユーザはカメラと撮影機器の位置関係の調整をより柔軟に行うことが可能となる。
〔構成33〕
本発明に係る情報処理システムは、
車両後方から車両前方に向かって車室内を撮影する前記第1のカメラの撮影方向を、車両後部から車両外後方への方向へ変更可能であるようにするとよい。
このようにすれば、車内撮影用のカメラを、後方撮影用のカメラと共に後方車両の正確距離を測定できるカメラとしても利用することができる。ユーザは、本情報処理システムに1つのカメラを追加することで、車室内の映像を解析や判定する機能に加え、車両外の映像を解析や判定する新たな機能を追加することができる。
〔構成34〕
本発明に係る情報処理システムは、
前記第1のカメラの回転により、撮影方向を、車両後部から車室への方向から、車両後部から車両外後方への方向へ変更可能であるようにするとよい。
このようにすれば、ユーザは、簡単且つ迅速な撮影方向の変更作業で、車内撮影用のカメラを、後方撮影用のカメラと共に後方車両の正確距離を測定できるカメラとしても利用することができる。本情報処理システムは、1つのカメラを追加することで、車室内の映像を解析や判定する機能に加え、車両外の映像を解析や判定する新たな機能を提供することができる。
〔構成35〕
本発明に係る情報処理システムは、
前記第1のカメラが前記撮影方向の調整に連動する投光方向を持つ投光器を備え、前記撮影方向の変更に応じて、前記投光器の光を、電気的に遮断または機械的に遮蔽するようにするとよい。
このようにすれば、夜間等の暗い環境下においても明瞭な車室内の映像を撮影することができる一方で、ユーザは、投光器から、車両外の人物が認識できる光が、発せられないことが確実な状態で車両を使用することができる。
〔構成36〕
本発明に係る情報処理システムは、
円筒形状部を有する取付具を含み前記円筒形状部内に前記第1のカメラを挿入することによって、前記第1のカメラを前記撮影機器に取り付け可能であるようにするとよい。
このようにすれば、カメラ及び撮影機器へのカメラの取り付けにいわゆるパイプジョイント方式を採用することが可能となり、ユーザは完結且つ直感的に情報処理システム対して追加のカメラを取り付けることが可能となる。
〔構成37〕
本発明に係る情報処理システムは、
前記円筒形状部内に前記第1のカメラを挿入したまま、前記撮影機器に対する前記第1のカメラの相対位置、又は、前記第1のカメラの撮影方向、を変更可能であるようにするとよい。
このようにすれば、ユーザは完結且つ直感的に情報処理システム対して追加のカメラを取り付けることが可能であるだけでなく、追加のカメラの撮影機器に対する相対位置又は前記第1のカメラの撮影方向を変更することで、ユーザは所望の映像を撮影できるようなカメラの調整を容易に行うことができる。
〔構成38〕
本発明に係る情報処理システムは、
記第1のカメラがピンプラグを有し、前記ピンプラグを前記撮影機器に挿入可能なようにするとよい。
このようにすれば、追加の第1のカメラを既存の撮影機器へ容易に取り付けることが可能となる。既存の撮影機器は一般に、規格化されたピンジャックを有しているので、追加の第1のカメラに対応する規格化されたピンプラグを設けることで、ユーザは様々な撮影機器を本情報処理システムに採用することができる。
〔構成39〕
本発明に係る情報処理システムは、
第3のカメラが撮影した別の映像データを、前記第3のカメラから前記第1のカメラへ、入力可能であり、前記第1のカメラが撮影した像データ、及び、前記第3のカメラが撮影した前記別の映像データを、前記第1のカメラから前記撮影機器へ、出力可能とするとよい。
このようにすれば、第1のカメラは、第1のカメラ自体が撮影した映像データを、撮影機器へ出力することができるのみならず、他の第3のカメラが撮影した別の映像データも同様に、撮影機器へ出力することができるので、ユーザは1本のケーブルを用いた簡潔な取り回しで本システムを導入することができる。
〔構成40〕
上記目的を達成するためのプログラムは、
情報処理システムに上記の各機能を実現させるためのプログラムとするとよい。
このようにすれば、既存の情報処理システムに対して、プログラムの提供を行うことによって、上記機能の提供を行うことができる。
In addition, the above embodiments disclose at least the following configurations.
[Configuration 1]
This information processing system
It is preferable to process the image data of the interior of the vehicle photographed from the rear of the vehicle toward the front of the vehicle.
By doing so, it is possible to process the image data of the interior of the vehicle photographed from the rear of the vehicle toward the front of the vehicle. For example, in the conventional video data of the interior of the vehicle, which is shot from the front to the rear of the vehicle, objects, elements, events, etc. that were located in blind spots were impossible or difficult to process. By photographing the interior of the vehicle from a direction different from the conventional one, that is, by photographing from the rear of the vehicle toward the front of the vehicle, it is possible to perform processing such as detection, identification, recognition, and judgment satisfactorily. Therefore, the user can take advantage of newly provided functions based on those processes.
[Configuration 2]
This information processing system
It is preferable to process image data of the interior of the vehicle captured from the rear of the vehicle toward the front of the vehicle and image data of the exterior of the vehicle captured from the rear of the vehicle to the exterior of the vehicle.
In this way, it is possible to process image data of the interior of the vehicle captured from the rear of the vehicle toward the front of the vehicle and image data of the exterior of the vehicle captured from the rear of the vehicle. For example, in the conventional video data of the interior of the vehicle, which is shot from the front to the rear of the vehicle, objects, elements, events, etc. that were located in blind spots were impossible or difficult to process. By photographing the interior of the vehicle from a direction different from the conventional one, that is, by photographing from the rear of the vehicle toward the front of the vehicle, it is possible to perform processing such as detection, identification, recognition, and judgment satisfactorily. Therefore, the user can take advantage of newly provided functions based on those processes.
[Configuration 3]
An information processing system according to the present invention includes:
It is preferable to have a control unit that analyzes the image data of the vehicle interior and determines the situation based on the analysis result.
In this way, the control unit analyzes video data of the interior of the vehicle captured from a direction different from the conventional one, so that various situations can be newly or more accurately determined than the conventional one. This allows users to take advantage of new features based on new and more accurate determinations.
[Configuration 4]
An information processing system according to the present invention includes:
Preferably, the control unit determines whether or not there is a person in the vehicle interior based on the image data in the vehicle interior, and creates and outputs image data in which the person is filtered.
In this way, by photographing the interior of the vehicle from the rear of the vehicle toward the front of the vehicle, the chances of photographing a person's face are reduced, and in addition, the photographed person can be filtered. It is possible to shoot and record the behavior of people in the car while paying more attention to the privacy of people in the car than before. As a result, the user can reduce the reluctance felt by users of buses, taxis, etc., to have their images recorded.
[Configuration 5]
An information processing system according to the present invention includes:
It is preferable that the control unit determines a state of an object outside the vehicle appearing in the image data based on the image data of the vehicle interior, and outputs information about the state of the object.
In this way, when the direction indicator is turned on, for example, the control unit can detect a situation in which there is a car, a person, or an obstacle on the side of the vehicle, or when the vehicle is parked without a person in the vehicle. A situation where someone approaches the vehicle, a situation where such a person is looking into the vehicle, a person, especially a child, is around the vehicle when the engine is started, when the vehicle is slowing down, or when the vehicle is running. It is possible to determine a situation such as a situation in which the vehicle is running or idle, a situation in which the vehicle is being pushed from the side behind the vehicle, or the like. In addition, the control unit can output appropriate notifications and warnings to the driver or the like according to the determination results of those situations, so that the user can quickly notice abnormalities and dangers in the vehicle and its surroundings and respond to them. be able to.
[Configuration 6]
An information processing system according to the present invention includes:
It is preferable that the control unit determines an abnormality of an object installed on the ceiling of the vehicle based on the image data of the vehicle interior, and outputs information regarding the abnormality.
In this way, the control unit can, for example, check whether the room lamp is lit, whether there are people in the car, whether the net is bent due to excessive baggage, whether the left and right fasteners are loose, etc. Whether the direction and state of the projector, the position and state of the image of the projector, the positional relationship between the projector and the passenger in the back seat, etc. It is possible to determine whether there is In addition, the control unit can output appropriate notifications and warnings to the driver or the like according to the determination results of those situations, so that the user can easily maintain the vehicle in an appropriate state. , it is possible to quickly notice an abnormality in the vehicle.
[Configuration 7]
An information processing system according to the present invention includes:
It is preferable that the control unit determines the state of the cargo in the vehicle based on the image data of the vehicle interior, and outputs information about the state of the cargo.
In this way, the control unit can, for example, determine the state of the cargo placed behind the driver's seat, the positional relationship between the cargo bed or the seat and the cargo, the estimated position of the center of gravity of the cargo, and the positions of the center of gravity of a plurality of cargoes. Positional relationship, vehicle speed and acceleration and changes in cargo position in relation to those changes, height of risk of cargo falling from cargo bed and seats, height of risk of collapse of stacked cargo, cargo bed and seats It is possible to determine the degree of slippage of luggage on top, the relevance of the collapse of luggage, and the tilting and contact by other vehicles photographed through the window inside the vehicle photographed from the rear. In addition, the control unit can output appropriate notifications and warnings to the driver or the like according to the determination result of the state of the baggage. As a result, the driver can concentrate on driving without worrying about the collapse of cargo.
[Configuration 8]
An information processing system according to the present invention includes:
It is preferable that the control unit determines a state of a display unit arranged in the vehicle based on the image data of the vehicle interior, and outputs information regarding the state of the display unit.
In this way, the display unit can, for example, display the status of the monitor provided on the back of the seat, the monitor provided on the ceiling, the display contents of the center monitor installed near the center in front between the driver's seat and the front passenger seat, It is possible to determine whether or not there is an operation, the details of the specific operation performed on the display unit, whether the vehicle is automatically driving or manually driving at the time of video recording, and the like. In addition, the control unit can output appropriate notifications and warnings to the driver or the like according to the determination results of those situations. In addition, if the user is involved in an accident while the driver is driving properly, the user must confirm that the accident did not occur during the operation of the terminal, that the accident was not due to incorrect operation of the terminal, and that the accident occurred during automatic driving. It can provide objective evidence as to whether the accident occurred during manual operation or during manual operation.
[Configuration 9]
An information processing system according to the present invention includes:
Preferably, the control unit determines a person's head based on the video data, and outputs information about the proportion of the head in the video data.
In this way, the display unit can determine, for example, whether the head is shown in the screen of the image, and what percentage of the pictured head occupies the screen. state, and so on. In addition, the control unit can output appropriate notifications and warnings to the driver or the like according to the determination results of those situations. As a result, when a person sits in the rear seat, the user can avoid recording only video data in which the back of the person's head is shown on the entire screen.
[Configuration 10]
An information processing system according to the present invention includes:
The control unit may determine whether the vehicle is in a parking state based on the image data, and if the vehicle is in the parking state, output an instruction to switch to a parking monitoring mode.
In this way, the control unit can determine whether a person is in the vehicle, whether the person has left the vehicle, whether the vehicle is parked, and the like. When determining that the vehicle is parked, the control unit outputs a command to switch the photographing mode to the parking monitoring mode. Thereby, when the vehicle is in a parked state, the control unit preferentially allocates computing power to the processing for determining a suspicious approaching person from, for example, the area of the vehicle's windshield, rear window, and side windows. This allows users to use a more efficient information processing system.
[Configuration 11]
An information processing system according to the present invention includes:
The control unit may determine the state of the person in the vehicle based on the video data, and output information about the state of the person in the vehicle.
With this configuration, the control unit can determine the state of the person in the vehicle, particularly the state of the person behind the vehicle, with higher accuracy than before. Also, the user can receive appropriate notifications and warnings according to the determination result of the person's situation.
[Configuration 12]
An information processing system according to the present invention includes:
It is preferable that the control unit determines whether or not a person has been left in the vehicle based on the image data, and outputs information about the state of the person being left behind.
In this way, the control unit can determine whether there is a person in the image, whether the person in the image is a child or a disabled person, whether a person other than a child or a disabled person is in the vehicle, or whether the vehicle is parked. , whether or not a child or disabled person is left behind. In addition, the control unit can output an appropriate notification or warning to the driver, the surroundings of the vehicle, or the like, according to the determination result of the situation of abandonment. As a result, the user can utilize the highly accurate rear side abandonment prevention function.
[Configuration 13]
An information processing system according to the present invention includes:
Preferably, the control unit determines whether a person in the vehicle is dozing off or in a sleeping state based on the image data, and outputs information about the dozing off or sleeping state.
In this way, the control unit determines whether there is a person in the image, whether the person in the image is the driver or a fellow passenger, whether the driver's head is in the image, and whether the state of the head is a warning about falling asleep. , whether the face and head of a fellow passenger in the rear seat are shown, and whether the state of the face and head indicates a pattern of a sleeping state. In addition, the control unit can output an appropriate notification or warning to the driver, the surroundings of the vehicle, or the like, according to the determination result of the situation of abandonment. This makes it easier for the driver to check for signs of falling asleep and to get the trigger to drive in consideration of the sleeping state of the fellow passengers.
[Configuration 14]
An information processing system according to the present invention includes:
A human detection sensor may be provided, and a detection signal from the human detection sensor may at least be used as a trigger for starting the determination, or may be used for the determination.
In this way, by using, for example, a pyroelectric infrared sensor or a thermosensor, it is possible to identify a child, a handicapped person, etc. with a lower load than AI processing of video data. Since constant execution of processing by AI requires a large computational load, a separate human-detectable sensor is used to detect the presence of a person, and the result of human detection in the vehicle by the human-detectable sensor is Using it as a trigger for starting human detection processing based on video data is advantageous from the viewpoint of reducing the computational load and achieving highly accurate human detection. Furthermore, for example, by limiting the detection range of a sensor capable of detecting a person to the rear region of the vehicle or the vicinity of the rear seat, it is possible to distinguish between the driver and the passenger with high accuracy. The user can thereby reduce possible risks to fellow passengers.
[Configuration 15]
An information processing system according to the present invention includes:
The interior of the vehicle may be photographed from the rear of the vehicle toward the front of the vehicle at a plurality of different positions.
By doing so, for example, by combining video data captured at a plurality of positions by a wide-angle camera, the user can look around the video inside and outside the vehicle.
[Configuration 16]
An information processing system according to the present invention includes:
The opening/closing operation of the opening/closing portion of the vehicle may be used as a trigger to start image capturing or recording, or to change image capturing or recording settings.
In this way, the opening/closing operation of the hatch or the like triggers the start of video shooting or recording, and the setting of video shooting or recording is changed. Also, it is possible to obtain video data that has been reliably shot with appropriate settings.
[Configuration 17]
An information processing system according to the present invention includes:
In addition to the opening/closing operation of the opening/closing portion of the vehicle, at least one of the running state of the vehicle, the state of the driving source of the vehicle, and the state of the power supply of the vehicle is used as a trigger,
start filming or recording video, or
It is advisable to change the settings for video shooting or recording.
In this manner, in addition to the opening/closing operation of the opening/closing portion of the vehicle, the image is captured or recorded by a method according to at least one of the vehicle running state, the vehicle drive source state, and the vehicle power source state. or change settings.
[Configuration 18]
An information processing system according to the present invention includes:
recording the sound collected by at least one of the sound collecting means provided at a plurality of locations of the vehicle together with the captured image;
It is preferable to change the setting of the sound to be recorded by using the opening/closing operation of the opening/closing portion of the vehicle as a trigger.
In this way, the setting of the sound to be recorded can be changed using the opening/closing operation of the opening/closing portion of the vehicle as a trigger.
[Configuration 19]
An information processing system according to the present invention includes:
The opening/closing part of the vehicle includes a rear opening/closing part that opens and closes an opening provided at the rear of the vehicle,
A camera of a photographing device provided in the rear opening/closing part photographs the rear exterior of the vehicle when the opening/closing part is in the open state, and shoots from the rear of the vehicle to the front of the vehicle when the rear opening/closing part is in the closed state. It is better to shoot toward the camera.
With this configuration, the photographing direction changes according to the opening/closing state of the opening provided at the rear of the vehicle. It is possible to photograph an appropriate direction according to the open/closed state, such as photographing the front of the vehicle from the front.
[Configuration 20]
An information processing system according to the present invention includes:
The rear opening/closing part opens upward,
When the rear opening/closing part is in the open state, the camera of the photographing device faces downward toward the outside of the vehicle, and when the rear opening/closing part is in the closed state, the camera of the photographing device faces from the rear of the vehicle to the front of the vehicle. Take a picture.
In this way, the photographing direction changes according to the opening/closing state of the opening that opens upward. An appropriate direction can be photographed according to the opened/closed state, such as photographing the front of the vehicle from the rear.
[Configuration 21]
An information processing system according to the present invention includes:
When the rear opening/closing part changes from the closed state to the open state, it is preferable to start predetermined recording of an image taken by the camera of the photographing device.
With this configuration, when the rear opening/closing portion changes from the closed state to the open state, it is possible to start predetermined recording of an image captured by the imaging device. When the rear opening/closing part changes from the closed state to the open state, it is conceivable that a person gets on or off the vehicle.
[Configuration 22]
An information processing system according to the present invention includes:
The photographing device is operable by external power supply or by an internal power source when the drive source or power source of the vehicle is turned off,
When the rear opening/closing unit is opened while the drive source or power source of the vehicle is turned off, it is preferable to start predetermined recording of the image captured by the image capturing device.
With this configuration, when the rear opening/closing portion changes from the closed state to the open state, it is possible to perform predetermined recording of the image captured by the image capturing device. When the rear opening/closing part changes from the closed state to the open state, it is conceivable that events such as people getting in and out of the vehicle or loading and unloading of objects may occur.
[Configuration 23]
An information processing system according to the present invention includes:
The photographing device is on standby with the power of the photographing device turned on within the designated time period,
The predetermined recording may be started when the rear opening/closing portion changes from the closed state to the open state within the designated time period.
In this way, when the rear opening/closing portion changes from the closed state to the open state, the predetermined recording of the image photographed by the photographing device can be promptly started. The situation can be photographed and recorded more reliably.
[Configuration 24]
An information processing system according to the present invention includes:
When the rear opening/closing part is closed and the driving source or power source of the vehicle is turned on, the photographing device photographs with the camera, and when the rear opening/closing part is opened, Even after the drive source or the power source of the vehicle is turned off, it is preferable to extend the photographing by the camera for a specified time period and record the photographed image.
In this way, when an image is taken from the rear of the vehicle toward the front of the vehicle, and when the rear opening/closing portion changes from the closed state to the open state, the photographed image is recorded by extending the specified time length. Even after the drive source or power supply is turned off, the situation when the rear opening/closing part changes to the open state can be photographed and recorded.
[Configuration 25]
An information processing system according to the present invention includes:
When the photographing device determines that a person exits the vehicle through the opening when the rear opening/closing portion is in an open state, the photographing device records the photographed image by extending the designated time length. Good.
In this way, the object that has been photographed inside the vehicle by the rear camera can be continuously photographed also in the rearward direction outside the vehicle.
[Configuration 26]
An information processing system according to the present invention includes:
It is preferable that one camera captures the image data of the inside of the vehicle and the image data of the outside of the vehicle.
In this way, at least an image of the inside of the vehicle photographed from the rear to the front and an image of the outside of the vehicle from the rear of the vehicle can be photographed as one piece of image data. By selecting an appropriate angle of view and mounting position, it is possible to include in the image data the image immediately after the vehicle, the image in front of the vehicle, and the images in the elevation direction in front of and behind the vehicle. Accordingly, the user can add various functions to the vehicle by providing one wide-angle camera at the rear of the vehicle. In addition, when the rear side is implemented with one camera, it is possible to reduce costs, reduce the time and effort required for installation, and reduce the size compared to using two cameras on the rear side, one for the indoor side and one for the rear side. [Configuration 27]
An information processing system according to the present invention includes:
Preferably, the one camera is a hemisphere camera.
By doing so, it is possible to cover a wider shooting range than a general wide-angle camera. For example, a hemispherical camera with an angle of view of 240° or more can capture not only images of the interior of the vehicle from the rear to the front, the image of the vehicle immediately behind, and the image of the front of the vehicle, but also images of elevation angles in front of the vehicle and behind the vehicle. can be captured as one piece of video data, the user can also check the state of the signals in front of and behind the vehicle at the desired point in time, for example, from the video data [Configuration 28]
An information processing system according to the present invention includes:
When it is determined that a person is in the vehicle, it is preferable to output the image information of the image of the interior of the vehicle to a predetermined output destination.
By doing so, it is possible to easily grasp the situation when a person is in the vehicle from the photographed image. In a vehicle interior, for example, it is often the situation that a person is in the vehicle when a trouble or some event occurs. It is useful to make it easy to grasp the situation when a person is in the vehicle, in order to confirm the presence or absence of occurrence of such an event and the situation of occurrence.
[Configuration 29]
An information processing system according to the present invention includes:
When it is determined that a person is in the vehicle, regardless of whether the driving source of the vehicle or the power source of the vehicle is on or off, the image information of the image of the interior of the vehicle is sent to the predetermined output destination. should be output to
In this way, regardless of whether the driving source of the vehicle or the power source of the vehicle is on or off, it is possible to easily grasp the situation when a person is in the vehicle from the photographed image. For example, if a person is in the vehicle, there is a possibility that troubles or other events will occur inside the vehicle regardless of whether the driving source of the vehicle or the power source of the vehicle is on or off. Therefore, regardless of whether the vehicle's drive source or vehicle's power source is on or off, it is important to make it easy to grasp the situation when people are in the vehicle, and to determine whether such events occur and the circumstances of their occurrence. It is useful for confirmation.
[Configuration 30]
An information processing system according to the present invention includes:
When it is determined that a person has spoken in the vehicle interior, it is preferable to output the image information of the image of the interior of the vehicle to a predetermined output destination.
By doing so, it is possible to easily grasp from the captured image how the people in the vehicle are talking. For example, when a trouble or some kind of event occurs in the passenger compartment of a vehicle, people may talk about it. It is useful to make it easy to grasp the state of the vehicle interior when a person speaks, in order to confirm the presence or absence of occurrence of such an event and the situation of occurrence.
[Configuration 31]
An information processing system according to the present invention includes:
When it is determined that a person has extended his/her hand in the vehicle, image information of an image of the inside of the vehicle may be output to a predetermined output destination.
By doing so, it is possible to easily grasp from the photographed image how a person in the vehicle reaches out his or her hand. For example, if a trouble or some kind of event occurs in the passenger compartment of a vehicle, it is conceivable that there is a possibility that a violent act or a threatening act will take place. If a person stretches his or her arm, it is suspected that an act such as hitting will occur. It is useful in confirming whether or not such an event has occurred and how it has occurred to make it easier to grasp the state of the vehicle interior when a person reaches out his or her hand in the vehicle interior.
[Configuration 32]
An information processing system according to the present invention includes:
It is preferable to include a photographing device having a first camera that acquires video data of the interior of the vehicle and a second camera that acquires video data of the exterior of the vehicle.
In this way, it becomes possible to design a camera for acquiring image data inside the vehicle and a photographing device for acquiring image data outside the vehicle separately and more flexibly according to the purpose of photographing. Also, the user can more flexibly adjust the positional relationship between the camera and the photographing device.
[Configuration 33]
An information processing system according to the present invention includes:
It is preferable that the photographing direction of the first camera, which photographs the interior of the vehicle from the rear of the vehicle to the front of the vehicle, can be changed from the rear of the vehicle to the rear of the vehicle.
In this way, the camera for photographing the inside of the vehicle can be used together with the camera for photographing the rear as a camera capable of accurately measuring the distance to the vehicle behind the vehicle. By adding one camera to this information processing system, the user can add a new function of analyzing and judging the video outside the vehicle in addition to the function of analyzing and judging the video inside the vehicle.
[Configuration 34]
An information processing system according to the present invention includes:
By rotating the first camera, the photographing direction may be changed from the direction from the rear portion of the vehicle to the interior of the vehicle to the direction from the rear portion of the vehicle to the rear outside the vehicle.
In this way, the user can use the camera for photographing the interior of the vehicle as a camera capable of accurately measuring the distance to the vehicle behind, together with the camera for photographing the rear, by simply and quickly changing the photographing direction. By adding one camera, this information processing system can provide a new function for analyzing and judging video outside the vehicle in addition to the function for analyzing and judging the video inside the vehicle.
[Configuration 35]
An information processing system according to the present invention includes:
The first camera includes a light projector having a light projection direction that is interlocked with the adjustment of the photographing direction, and the light from the light projector is electrically cut off or mechanically shielded according to the change of the photographing direction. do it.
In this way, it is possible to capture a clear image of the interior of the vehicle even in a dark environment such as at night. Vehicles can be used safely.
[Configuration 36]
An information processing system according to the present invention includes:
Preferably, the first camera is attachable to the photographic device by including a fixture having a cylindrical portion and inserting the first camera within the cylindrical portion.
In this way, it becomes possible to adopt a so-called pipe joint method for attaching the camera to the camera and the photographing equipment, and the user can completely and intuitively attach an additional camera to the information processing system. .
[Configuration 37]
An information processing system according to the present invention includes:
The relative position of the first camera with respect to the photographing device or the photographing direction of the first camera may be changed while the first camera is inserted into the cylindrical portion.
In this way, the user can not only complete and intuitively attach the additional camera to the information processing system, but also determine the relative position of the additional camera with respect to the photographing equipment or the photographing direction of the first camera. By changing , the user can easily adjust the camera so that a desired image can be captured.
[Configuration 38]
An information processing system according to the present invention includes:
Preferably, the first camera has a pin plug, and the pin plug can be inserted into the photographing device.
In this way, the additional first camera can be easily attached to existing imaging equipment. Since existing photographic equipment generally has standardized pin jacks, by providing a standardized pin plug corresponding to the additional first camera, the user can connect various photographic equipment to the information processing system. can be adopted for
[Configuration 39]
An information processing system according to the present invention includes:
Another video data shot by a third camera can be input from the third camera to the first camera, and the image data shot by the first camera and the third camera It is preferable that the another video data that has been shot can be output from the first camera to the shooting device.
In this way, the first camera can output not only the video data captured by the first camera itself to the capturing device, but also other video data captured by the other third camera. Similarly, since it is possible to output to the photographing equipment, the user can introduce this system with simple handling using a single cable.
[Configuration 40]
The program to achieve the above purpose is
The program may be a program for causing the information processing system to implement each of the functions described above.
In this way, the above functions can be provided by providing the program to the existing information processing system.
上述した〔構成1〕から〔構成40〕に示した発明は、任意に組み合わせることができる。例えば、〔構成1〕に示した発明の全て又は一部の構成に、〔構成2〕以降の少なくとも1つの発明の少なくとも一部の構成を加える構成としてもよい。特に、〔構成1〕に示した発明に、〔構成2〕以降の少なくとも1つの発明の少なくとも一部の構成を加えた発明とするとよい。また、〔構成1〕から〔構成40〕に示した発明から任意の構成を抽出し、抽出された構成を組み合わせてもよい。本願の出願人は、これらの構成を含む発明について権利を取得する意思を有する。また「~の場合」「~のとき」という記載があったとしても、その場合やそのときに限られる構成として記載はしているものではない。これらはよりよい構成の例を示しているものであって、これらの場合やときでない構成についても権利取得する意思を有する。また順番を伴った記載になっている箇所もこの順番に限らない。一部の箇所を削除したり、順番を入れ替えたりした構成についても開示しているものであり、権利取得する意思を有する。 The inventions shown in [Structure 1] to [Structure 40] described above can be combined arbitrarily. For example, a configuration may be adopted in which at least part of the configuration of at least one invention after [Configuration 2] is added to all or part of the configuration of the invention shown in [Configuration 1]. In particular, the invention shown in [Configuration 1] may be added with at least part of the configuration of at least one invention after [Configuration 2]. Further, arbitrary configurations may be extracted from the inventions shown in [Configuration 1] to [Configuration 40], and the extracted configurations may be combined. The applicant of this application intends to obtain rights to inventions including these configurations. In addition, even if there is a description of "in the case of" or "when", it is not described as a configuration limited to that case or that time. These are examples of better configurations, and we intend to acquire configurations that are not in these cases or occasions. Moreover, the parts described with order are not limited to this order. It also discloses a configuration in which some parts are deleted or the order is changed, and there is an intention to acquire the right.
10…車両、101F、101R…撮影機器、102…車室内撮影用リアカメラ、103…ユーザ端末、104…外部サーバ、105…ネットワーク
DESCRIPTION OF
Claims (40)
情報処理システム。 Processing the image data of the vehicle interior taken from the rear of the vehicle toward the front of the vehicle,
Information processing system.
車両後方から車両後方外部を撮影した車外の映像データと、を処理する、
情報処理システム。 Image data of the vehicle interior taken from the rear of the vehicle toward the front of the vehicle,
and processing the image data outside the vehicle taken from the rear of the vehicle,
Information processing system.
請求項1又は2に記載の情報処理システム。 a control unit that analyzes video data in the vehicle interior and determines a situation based on the analysis results;
The information processing system according to claim 1 or 2.
請求項3に記載の情報処理システム。 The control unit determines whether or not there is a person in the vehicle interior based on the image data in the vehicle interior, and creates and outputs image data obtained by filtering the person.
The information processing system according to claim 3.
請求項3または4に記載の情報処理システム。 The control unit determines the state of an object outside the vehicle reflected in the image data based on the image data of the vehicle interior, and outputs information about the state of the object.
The information processing system according to claim 3 or 4.
請求項3から5のいずれか1項に記載の情報処理システム。 The control unit determines an abnormality of an object installed on the ceiling of the vehicle based on image data of the vehicle interior, and outputs information regarding the abnormality.
The information processing system according to any one of claims 3 to 5.
請求項3から6のいずれか1項に記載の情報処理システム。 The control unit determines the state of the luggage in the vehicle based on the image data of the vehicle interior, and outputs information about the state of the luggage.
The information processing system according to any one of claims 3 to 6.
請求項3から7のいずれか1項に記載の情報処理システム。 The control unit determines the state of the display unit arranged in the vehicle based on the image data of the vehicle interior, and outputs information regarding the state of the display unit.
The information processing system according to any one of claims 3 to 7.
請求項3から8のいずれか1項に記載の情報処理システム。 The control unit determines a person's head based on the video data and outputs information about the proportion of the head in the video data.
The information processing system according to any one of claims 3 to 8.
請求項3から9のいずれか1項に記載の情報処理システム。 The control unit determines whether the vehicle is in a parking state based on the video data, and outputs a command to switch to a parking monitoring mode when the vehicle is in the parking state.
The information processing system according to any one of claims 3 to 9.
請求項3から10のいずれか1項に記載の情報処理システム。 The control unit determines the state of the person in the vehicle based on the video data, and outputs information about the state of the person in the vehicle.
The information processing system according to any one of claims 3 to 10.
請求項11に記載の情報処理システム。 The control unit determines an abandoned state of a person in the vehicle based on the video data, and outputs information about the abandoned state.
The information processing system according to claim 11.
請求項11又は12に記載の情報処理システム。 The control unit determines a dozing or sleeping state of a person in the vehicle based on the video data, and outputs information about the dozing or sleeping state.
The information processing system according to claim 11 or 12.
少なくとも、
前記判定を開始するトリガとするか、又は、
前記判定に利用する、
請求項3から13のいずれか1項に記載の情報処理システム。 Having a human detection sensor, the detection signal by the human detection sensor,
at least,
as a trigger to start the determination, or
used for the determination,
The information processing system according to any one of claims 3 to 13.
請求項1から14のいずれか1項に記載の情報処理システム。 photographing the interior of the vehicle from the rear of the vehicle toward the front of the vehicle at a plurality of different positions;
The information processing system according to any one of claims 1 to 14.
映像の撮影又は記録を開始する、又は、
映像の撮影又は記録の設定を変更する、
請求項1から15のいずれか1項に記載の情報処理システム。 Using the opening/closing operation of the opening/closing portion of the vehicle as a trigger,
start filming or recording video, or
change video capture or recording settings;
The information processing system according to any one of claims 1 to 15.
前記車両の開閉部の開閉動作をトリガとして、記録する音声の設定を変更する
請求項16に記載の情報処理システム。 recording the sound collected by at least one of the sound collecting means provided at a plurality of locations of the vehicle together with the captured video;
17. The information processing system according to claim 16, wherein the opening/closing operation of the opening/closing portion of the vehicle is used as a trigger to change the setting of the sound to be recorded.
映像の撮影又は記録を開始する、又は、
映像の撮影又は記録の設定を変更する、
請求項16又は17に記載の情報処理システム。 In addition to the opening/closing operation of the opening/closing portion of the vehicle, at least one of the running state of the vehicle, the state of the driving source of the vehicle, and the state of the power supply of the vehicle is used as a trigger,
start filming or recording video, or
change video capture or recording settings;
The information processing system according to claim 16 or 17.
前記後方開閉部に設けられた撮影機器のカメラが、前記開閉部が開状態である場合、前記車両後方外部を撮影し、前記後方開閉部が閉状態である場合、前記車両後方から車両前方に向けて撮影する
請求項1から18のいずれか1項に記載の情報処理システム。 The opening/closing part of the vehicle includes a rear opening/closing part that opens and closes an opening provided at the rear of the vehicle,
A camera of a photographing device provided in the rear opening/closing part photographs the rear exterior of the vehicle when the opening/closing part is in the open state, and shoots from the rear of the vehicle to the front of the vehicle when the rear opening/closing part is in the closed state. 19. The information processing system according to any one of claims 1 to 18, wherein the image is taken toward.
前記撮影機器のカメラは、前記後方開閉部が開状態である場合、前記車両後方外部を下方に向けて撮影し、前記後方開閉部が閉状態である場合、前記車両後方から車両前方に向けて撮影する
請求項19に記載の情報処理システム。 The rear opening/closing part opens upward,
When the rear opening/closing part is in the open state, the camera of the photographing device faces downward toward the outside of the vehicle, and when the rear opening/closing part is in the closed state, the camera of the photographing device faces from the rear of the vehicle to the front of the vehicle. 20. The information processing system according to claim 19, which photographs.
請求項19又は20のいずれか1項に記載の情報処理システム。 21. The information processing system according to any one of claims 19 and 20, wherein predetermined recording of an image taken by a camera of said photographing device is started when said rear opening/closing part changes from a closed state to an open state.
前記車両の駆動源又は電源がオフされているときに前記後方開閉部が開状態になった場合、前記所定の記録を開始させる
請求項21に記載の情報処理システム。 When the driving source or the power source of the vehicle is turned off, the photographing device receives power supply from the outside or operates with an internal power source,
22. The information processing system according to claim 21, wherein the predetermined recording is started when the rear opening/closing unit is opened while the drive source or power source of the vehicle is turned off.
前記指定時間帯内において、前記後方開閉部が閉状態から開状態に変化した場合、前記所定の記録を開始させる
請求項22に記載の情報処理システム。 The photographing device is on standby with the power of the photographing device turned on within the designated time period,
23. The information processing system according to claim 22, wherein said predetermined recording is started when said rear opening/closing portion changes from a closed state to an open state within said specified time period.
請求項22又は23に記載の情報処理システム。 When the rear opening/closing part is closed and the driving source or power source of the vehicle is turned on, the photographing device photographs with the camera, and when the rear opening/closing part is opened, 24. The information processing system according to claim 22 or 23, wherein even after the drive source or power source of the vehicle is turned off, the photographing by the camera is extended by a specified time length and the photographed image is recorded.
請求項24に記載の情報処理システム。 25. The method according to claim 24, wherein when it is determined that a person exits the vehicle through the opening when the rear opening/closing part is in an open state, the photographed image is recorded by extending the specified time length. information processing system.
請求項1から25のいずれか1項に記載の情報処理システム。 shooting the image data inside the vehicle and the image data outside the vehicle with one camera;
Information processing system according to any one of claims 1 to 25.
請求項26に記載の情報処理システム。 27. An information processing system according to claim 26, wherein said one camera is a hemisphere camera.
請求項1から27のいずれか1項に記載の情報処理システム。 28. The information processing system according to any one of claims 1 to 27, wherein when it is determined that a person is in the vehicle, the image information of the image of the interior of the vehicle is output to a predetermined output destination.
請求項28に記載の情報処理システム。 When it is determined that a person is in the vehicle, regardless of whether the driving source of the vehicle or the power source of the vehicle is on or off, the image information of the image of the interior of the vehicle is sent to the predetermined output destination. 29. The information processing system according to claim 28, which outputs to .
請求項1から29のいずれか1項に記載の情報処理システム。 30. The information processing system according to any one of claims 1 to 29, wherein image information of an image of said vehicle interior is output to a predetermined output destination when it is determined that a person has spoken in said vehicle interior.
請求項1から30のいずれか1項に記載の情報処理システム。 31. The information processing system according to any one of claims 1 to 30, wherein when it is determined that a person has extended his/her hand in the vehicle interior, image information of an image of the interior of the vehicle is output to a predetermined output destination.
前記車外の映像データを取得する第2のカメラを有する撮影機器と、
を含む、
請求項1から31のいずれか1項に記載の情報処理システム。 a first camera that acquires video data of the interior of the vehicle;
a photographing device having a second camera that acquires video data outside the vehicle;
including,
Information processing system according to any one of claims 1 to 31.
請求項32に記載の情報処理システム。 The photographing direction of the first camera that photographs the inside of the vehicle from the rear of the vehicle to the front of the vehicle can be changed from the rear of the vehicle to the rear of the vehicle.
Information processing system according to claim 32.
請求項33に記載の情報処理システム。 By rotating the first camera, the photographing direction can be changed from the direction from the rear part of the vehicle to the interior of the vehicle to the direction from the rear part of the vehicle to the rear outside the vehicle.
Information processing system according to claim 33.
前記撮影方向の変更に応じて、前記投光器の光を、電気的に遮断または機械的に遮蔽する、
請求項33または34に記載の情報処理システム。 The first camera comprises a projector having a projection direction linked to the adjustment of the shooting direction,
Electrically blocking or mechanically blocking the light from the projector according to the change in the imaging direction;
The information processing system according to claim 33 or 34.
前記円筒形状部内に前記第1のカメラを挿入することによって、前記第1のカメラを前記撮影機器に取り付け可能である、
請求項35に記載の情報処理システム。 a fixture having a cylindrical portion, wherein the first camera can be attached to the imaging device by inserting the first camera into the cylindrical portion;
Information processing system according to claim 35.
請求項36に記載の情報処理システム。 It is possible to change the relative position of the first camera with respect to the photographing device or the photographing direction of the first camera while the first camera is inserted in the cylindrical portion.
Information processing system according to claim 36.
請求項32から37のいずれか1項に記載の情報処理システム。 the first camera having a pin plug, the pin plug being insertable into the imaging device;
Information processing system according to any one of claims 32 to 37.
前記第1のカメラが撮影した映像データ、及び、前記第3のカメラが撮影した前記別の映像データを、前記第1のカメラから前記撮影機器へ、出力可能である
請求項32から37のいずれか1項に記載の情報処理システム。 Another video data shot by a third camera can be input from the third camera to the first camera,
38. Any one of claims 32 to 37, wherein the image data captured by the first camera and the different image data captured by the third camera can be output from the first camera to the image capturing device. or the information processing system according to item 1.
A program for causing an information processing system to implement each function according to any one of claims 1 to 39.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022166652A JP7240781B2 (en) | 2021-06-30 | 2022-10-18 | Information processing system and program, etc. |
JP2023028069A JP7403196B2 (en) | 2021-06-30 | 2023-02-27 | Information processing systems and programs, etc. |
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021109726 | 2021-06-30 | ||
JP2021109726 | 2021-06-30 | ||
JP2021162386 | 2021-09-30 | ||
JP2021162386 | 2021-09-30 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022166652A Division JP7240781B2 (en) | 2021-06-30 | 2022-10-18 | Information processing system and program, etc. |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023007334A true JP2023007334A (en) | 2023-01-18 |
Family
ID=85106865
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021196968A Pending JP2023007334A (en) | 2021-06-30 | 2021-12-03 | Information processing systems, programs and the like |
JP2022166652A Active JP7240781B2 (en) | 2021-06-30 | 2022-10-18 | Information processing system and program, etc. |
JP2023028069A Active JP7403196B2 (en) | 2021-06-30 | 2023-02-27 | Information processing systems and programs, etc. |
Family Applications After (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022166652A Active JP7240781B2 (en) | 2021-06-30 | 2022-10-18 | Information processing system and program, etc. |
JP2023028069A Active JP7403196B2 (en) | 2021-06-30 | 2023-02-27 | Information processing systems and programs, etc. |
Country Status (1)
Country | Link |
---|---|
JP (3) | JP2023007334A (en) |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002281486A (en) * | 2001-03-16 | 2002-09-27 | Dd Marketing:Kk | System for acquiring image |
JP2003138817A (en) * | 2001-10-31 | 2003-05-14 | Denso Corp | Keyless entry system for vehicle, person identifying method, and person identifying system |
JP2008260474A (en) * | 2007-04-13 | 2008-10-30 | Denso Corp | Vehicular photographic device |
JP6127659B2 (en) * | 2013-03-29 | 2017-05-17 | 富士通株式会社 | Driving support device and driving support method |
JP2017007453A (en) * | 2015-06-19 | 2017-01-12 | 株式会社東海理化電機製作所 | Moving body detection warning device |
US9942522B2 (en) * | 2015-08-19 | 2018-04-10 | Faraday&Future Inc. | In-vehicle camera system |
JP6862629B2 (en) * | 2017-03-30 | 2021-04-21 | 株式会社日本総合研究所 | Vehicle management server, in-vehicle terminal, watching method, and program in the watching transfer system |
JP2019123354A (en) * | 2018-01-16 | 2019-07-25 | 株式会社デンソー | Occupant detection device |
JP2019168815A (en) * | 2018-03-22 | 2019-10-03 | 東芝メモリ株式会社 | Information processing device, information processing method, and information processing program |
JP2019205078A (en) | 2018-05-24 | 2019-11-28 | 株式会社ユピテル | System and program |
JP7110947B2 (en) * | 2018-11-29 | 2022-08-02 | トヨタ自動車株式会社 | Vehicle and Passenger Transportation Systems |
JP2020157938A (en) * | 2019-03-27 | 2020-10-01 | 三菱電機株式会社 | On-vehicle monitoring control device |
JP2020201108A (en) | 2019-06-10 | 2020-12-17 | 株式会社ミツバ | Vehicle alarm device |
JP7338397B2 (en) | 2019-10-18 | 2023-09-05 | 株式会社デンソー | vehicle controller |
JP2021005402A (en) * | 2020-09-15 | 2021-01-14 | 株式会社ユピテル | On-vehicle instrument |
-
2021
- 2021-12-03 JP JP2021196968A patent/JP2023007334A/en active Pending
-
2022
- 2022-10-18 JP JP2022166652A patent/JP7240781B2/en active Active
-
2023
- 2023-02-27 JP JP2023028069A patent/JP7403196B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2023078159A (en) | 2023-06-06 |
JP2023009057A (en) | 2023-01-19 |
JP7240781B2 (en) | 2023-03-16 |
JP7403196B2 (en) | 2023-12-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102254043B1 (en) | Determination of the internal condition of the vehicle and its response | |
US20180154908A1 (en) | Multi-purpose vehicle smart monitoring system and method | |
US7378949B2 (en) | Vehicle safety system and vehicle having the same | |
US20170251163A1 (en) | System and method for multimedia capture | |
US20200396413A1 (en) | Recording control device, recording control system, recording control method, and recording control program | |
WO2021244591A1 (en) | Driving auxiliary device and method, and vehicle and storage medium | |
US20160125250A1 (en) | Apparatus and method for connecting a mobile device camera | |
US20190152392A1 (en) | Vehicle mounted collision avoidance systems and related methods | |
KR20140137774A (en) | vehicle safety navigation system using RFID tag | |
JP2023036872A (en) | System and program | |
TW201328340A (en) | Noticing system and method for looking for passengers | |
JP2023116446A (en) | System | |
US20160311401A1 (en) | Mobile Security System and Integrated Social Security Network | |
JP7240781B2 (en) | Information processing system and program, etc. | |
CN103569084A (en) | Driving detection device and driving detection method | |
US20200275022A1 (en) | Automotive driving recorder | |
WO2022064774A1 (en) | Image processing device and image processing program | |
CN205632289U (en) | Warning device for vehicle use | |
CN208585171U (en) | A kind of Streaming Media rear-view mirror system and automobile | |
JP2022052193A (en) | Image processing device and image processing program | |
JP2024033135A (en) | Imaging apparatus, system, program and the like | |
JP7386568B1 (en) | system etc. | |
CN110089099A (en) | Camera, camera processing method, server, server processing method and information processing equipment | |
JP2023125811A (en) | Information processing system, program, and the like | |
JP2023125810A (en) | Information processing system, program and the like |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211205 |