JP7018561B2 - Display control device, display control system, display control method, and display control program - Google Patents
Display control device, display control system, display control method, and display control program Download PDFInfo
- Publication number
- JP7018561B2 JP7018561B2 JP2017144502A JP2017144502A JP7018561B2 JP 7018561 B2 JP7018561 B2 JP 7018561B2 JP 2017144502 A JP2017144502 A JP 2017144502A JP 2017144502 A JP2017144502 A JP 2017144502A JP 7018561 B2 JP7018561 B2 JP 7018561B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- line
- unit
- time
- vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 20
- 238000001514 detection method Methods 0.000 claims description 35
- 238000012545 processing Methods 0.000 claims description 14
- 238000004891 communication Methods 0.000 claims description 13
- 230000008569 process Effects 0.000 claims description 11
- 230000005540 biological transmission Effects 0.000 claims description 10
- 230000005484 gravity Effects 0.000 claims description 5
- 238000010494 dissociation reaction Methods 0.000 claims 4
- 230000005593 dissociations Effects 0.000 claims 4
- 238000003384 imaging method Methods 0.000 description 30
- 238000010586 diagram Methods 0.000 description 19
- 239000000203 mixture Substances 0.000 description 15
- 238000012790 confirmation Methods 0.000 description 10
- 210000003128 head Anatomy 0.000 description 4
- 238000003702 image correction Methods 0.000 description 4
- 238000009434 installation Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 238000003825 pressing Methods 0.000 description 3
- 230000005236 sound signal Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 241000282412 Homo Species 0.000 description 2
- 230000000052 comparative effect Effects 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000036632 reaction speed Effects 0.000 description 2
- 230000001174 ascending effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 238000013441 quality evaluation Methods 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Landscapes
- Camera Data Copying Or Recording (AREA)
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
- Indication In Cameras, And Counting Of Exposures (AREA)
- Exposure Control For Cameras (AREA)
- Details Of Cameras Including Film Mechanisms (AREA)
- Television Signal Processing For Recording (AREA)
- Traffic Control Systems (AREA)
- Navigation (AREA)
Description
本発明は、車載カメラで撮像された画像の表示制御を行う表示制御装置、表示制御システム、表示制御方法、及び表示制御プログラムに関する。 The present invention relates to a display control device, a display control system, a display control method, and a display control program that control the display of an image captured by an in-vehicle camera.
近年、ドライブレコーダや運転支援用のカメラが搭載されている車両が増加してきている。今後、自動運転車両が普及していくにつれて、高精細なカメラが搭載された車両が増加していくと予想される。 In recent years, the number of vehicles equipped with drive recorders and cameras for driving assistance has been increasing. In the future, as autonomous vehicles become more widespread, it is expected that the number of vehicles equipped with high-definition cameras will increase.
車両を運転中に、いい景色に遭遇した場合、写真を撮りたいと思うときがある。例えば、一般的なデジタルカメラのシャッタ機能を搭載したドライブレコーダが提案されている（例えば、特許文献１参照）。 If you come across a nice view while driving a vehicle, you may want to take a picture. For example, a drive recorder equipped with a shutter function of a general digital camera has been proposed (see, for example, Patent Document 1).
車両走行中に撮影したい被写体が出現した場合において、車両は移動しているため、撮影したいと思ってから実際にシャッタ操作を行うタイミングまでの間に、撮影地点が変わり、被写体も相対的に移動している可能性がある。従って、撮影された写真は、当初に意図した構図と大きく違っていることがある。 When the subject you want to shoot appears while the vehicle is running, the vehicle is moving, so the shooting point changes between the time you want to shoot and the timing when you actually operate the shutter, and the subject also moves relatively. It may be. Therefore, the picture taken may be significantly different from the originally intended composition.
本発明はこうした状況に鑑みなされたものであり、その目的は、車両に設置されたカメラで、走行中に撮影者の意図した静止画を撮影するための技術を提供することにある。 The present invention has been made in view of such a situation, and an object of the present invention is to provide a technique for taking a still image intended by a photographer while traveling with a camera installed in a vehicle.
上記課題を解決するために、本発明のある態様の表示制御装置は、車両に設置されて当該車両の外部を撮像する撮像装置と、任意の画像を表示する表示装置とに接続される表示制御装置であって、前記表示制御装置の動作を制御する制御部と、前記撮像装置から受信した一以上の画像を記憶する記憶部と、を備える。前記制御部は、乗員による操作を受け付ける入力部において前記操作を受け付けた第１時刻から設定時間遡った第２時刻に前記撮像装置によって撮像され、前記記憶部に保持されている、前記一以上の画像のうちの第１画像を決定し、前記表示装置に対して、決定した前記第１画像の少なくとも一部を表示させる表示指示を送信する。 In order to solve the above problems, the display control device according to an aspect of the present invention is a display control connected to an image pickup device installed in a vehicle to image the outside of the vehicle and a display device to display an arbitrary image. The device includes a control unit that controls the operation of the display control device, and a storage unit that stores one or more images received from the image pickup device. The control unit is an input unit that accepts an operation by an occupant, and is imaged by the image pickup device at a second time that is set back from the first time when the operation is received, and is held in the storage unit. The first image of the images is determined, and a display instruction for displaying at least a part of the determined first image is transmitted to the display device.
なお、以上の構成要素の任意の組み合わせ、本発明の表現を装置、システム、方法、プログラム、プログラムを記録した記録媒体、それらを搭載した自動運転車両などの間で変換したものもまた、本発明の態様として有効である。 It should be noted that any combination of the above components, the expression of the present invention converted between a device, a system, a method, a program, a recording medium on which the program is recorded, an autonomous driving vehicle equipped with the same, and the like are also the present invention. It is effective as an aspect of.
本発明によれば、車両に設置されたカメラで、走行中に撮影者の意図した静止画を撮影することができる。 According to the present invention, a camera installed in a vehicle can take a still image intended by a photographer while driving.
（実施の形態１）
本発明の実施の形態１は、車両内に構築される画像撮像システムである。当該画像撮像システムは、車両に設置されたカメラにより撮影された一定時間分の映像を常時保持し、ユーザにより行われたシャッタ操作より過去に撮影された静止画を、撮影画像として抽出するものである。
(Embodiment 1)
図１は、本発明の実施の形態１に係る、撮像部２０の設置位置の一例を示す図である。撮像部２０は、車両の進行方向前方を撮影可能なカメラである。例えば、撮像部２０は車両１内のルームミラーの上に取り付けられる。なお撮像部２０は車両１の外に取り付けることも可能であり、例えば、フロントグリルに内蔵させてもよい。
FIG. 1 is a diagram showing an example of an installation position of the
撮像部２０は、ドライブレコーダ、運転支援、自動運転用のカメラを転用したものであってもよいし、鑑賞用の画像を撮影する専用機であってもよい。撮像部２０には、魚眼レンズ等を使用した超広角カメラを使用することが好ましいが、撮像部２０の画角は任意であり、特に限定されるものではない。超広角カメラを使用した方が広範囲を撮像できるため、カメラを可動式にしなくても動体を広範囲に追尾することができる。可動部を持たない超広角カメラは、視点が安定しており、メンテナンスの頻度も低くなる。
The
図２（ａ）－（ｃ）は、撮像部２０を使用した撮像方法の比較例を説明するための図である。この例では、撮像部２０に超広角カメラを使用している。図２（ａ）は、車両１の走行中に運転者が、前方の風景に興味対象物を発見し、撮影したいという意思を抱いた時点（ｔ０）を示している。例えば、「綺麗な山だ。ＳＮＳ（Social Networking Service）に投稿して、皆んなとシェアしたい。」という気持ちを抱いた時点を示している。
2 (a)-(c) are diagrams for explaining a comparative example of an image pickup method using the
しかしながら運転中であり、カメラを構えて被写体を狙っている状態ではない。従って、実際に撮影したいと思ってからシャッタ操作を行うまでの間にタイムラグが発生する。運転中のシャッタ操作としては、センターディスプレイへのタッチ、音声入力などが考えられるが、いずれも撮影意思を抱いてから実際に操作が完了するまでに時間がかかる操作である。 However, he is driving and is not in a state of holding the camera and aiming at the subject. Therefore, there is a time lag between the actual shooting and the shutter operation. As the shutter operation during operation, touching the center display, voice input, and the like can be considered, but all of them are operations that take time from the intention of taking a picture to the actual completion of the operation.
図２（ｂ）は、車両１の走行中に運転者が、シャッタ操作を行った時点（ｔ１）を示している。図２（ｃ）は、シャッタ操作に起因した実際の撮像と記録が完了した時点（ｔ２）を示している。このタイミングでシャッタ音（カシャ）が音声出力され、運転者は写真が撮れたことを認識することができる。
FIG. 2B shows a time point (t1) when the driver performs a shutter operation while the
シャッタ操作を受け付けてから、実際の撮像と記録が完了するまでの間に、システム遅延が発生する。シャッタ操作を受け付けてから撮像部２０が撮像して記録するまでの間には電子制御が介在しており、厳密には遅延が発生している。
There is a system delay between the acceptance of the shutter operation and the completion of actual imaging and recording. Strictly speaking, there is a delay between the reception of the shutter operation and the time when the
ＰＯＩ（Point Of Interest）は、各時点で車両１（≒撮像部２０）が位置する地点の位置情報であり、例えば、ＧＰＳセンサで検出された緯度経度情報が使用される。ＰＯＩは、静止画ファイルに撮影位置の情報としてタグ付けされる。 The POI (Point Of Interest) is the position information of the point where the vehicle 1 (≈imaging unit 20) is located at each time point, and for example, the latitude / longitude information detected by the GPS sensor is used. The POI is tagged in the still image file as information on the shooting position.
図２（ａ）－（ｂ）の下段の画像は、撮像部２０で捉えられている各時点ｔ０、ｔ１、ｔ２の超広角画像Ｍ０、Ｍ１、Ｍ２を示している。扇型の切出領域Ｃ０、Ｃ１、Ｃ２は、超広角画像Ｍ０、Ｍ１、Ｍ２からそれぞれ切り出される領域を示している。実施の形態１では切出領域Ｃ０、Ｃ１、Ｃ２は固定であり、例えば、前方を見ている運転者の視野範囲に相当する領域に設定されている。一般的な人の眼は、画角的には、３５ｍｍ判で焦点距離５０ｍｍのレンズに近似している。なお本明細書では、３５ｍｍ判で焦点距離３５ｍｍ以下のレンズで撮像された画像を広角画像、焦点距離２４ｍｍ以下のレンズで撮像された画像を超広角画像と呼ぶ。
The lower images in FIGS. 2 (a) and 2 (b) show ultra-wide-angle images M0, M1, and M2 at each time point t0, t1, and t2 captured by the
撮影意思を抱いた時点ｔ０の切出領域Ｃ０には、第１被写体Ｏ１及び第２被写体Ｏ２が収まっている。シャッタ操作を行った時点ｔ１の切出領域Ｃ１からは、第１被写体Ｏ１の一部が欠落している。実際の撮像を行った時点ｔ２の切出領域Ｃ２からは、第１被写体Ｏ１の全てが欠落し、第２被写体Ｏ２の一部が欠落している。 The first subject O1 and the second subject O2 are contained in the cutout region C0 at the time point t0 when the photographing intention is held. A part of the first subject O1 is missing from the cutout region C1 at the time when the shutter operation is performed. From the cutout region C2 at the time point t2 when the actual image is taken, all of the first subject O1 is missing, and a part of the second subject O2 is missing.
図３（ａ）、（ｂ）は、車両１の走行位置と、第１被写体Ｏ１及び第２被写体Ｏ２との位置関係を示す図である。図３（ａ）は、撮影意思を抱いた時点ｔ０の車両１の位置を示している。この時点ｔ０では、第１被写体Ｏ１及び第２被写体Ｏ２は車両１の前方に存在する。その後、道路は右にカーブしている。図３（ｂ）は、実際の撮像を行った時点ｔ２の車両１の位置を示している。この位置からは、第１被写体Ｏ１及び第２被写体Ｏ２は車両１の左方に存在している。
3A and 3B are diagrams showing the positional relationship between the traveling position of the
このように運転者が運転中に気になる物を発見し、それを撮影したい場合において、車両１が移動しているため、撮影したいと思ってから実際に撮像部２０で撮像されるまでに撮影地点が動いてしまう。従って、撮影したい被写体の位置も相対的に動いてしまい、意図した写真構図と異なってしまう。以下、車両１の走行中に撮像部２０を用いて、撮影したいと思った構図の写真を撮影することを可能とする仕組みを説明する。
In this way, when the driver discovers an object of concern while driving and wants to take a picture of it, the
図４は、本発明の実施の形態１に係る、画像撮像システム２の構成を示すブロック図である。画像撮像システム２は、制御装置１０、撮像部２０、ユーザインタフェース部３０、及び位置情報検出部４０を含む。
FIG. 4 is a block diagram showing the configuration of the
撮像部２０は、ＣＭＯＳイメージセンサ、ＣＣＤイメージセンサ等の固体撮像素子を備え、当該固体撮像素子は光電変換した画像信号を制御装置１０に出力する。撮像部２０と制御装置１０間は、バス、有線ＬＡＮ、無線ＬＡＮなど、任意の伝送形態で接続することができ、また、間に何か別の構成（デバイス）が介在していても良い。実施の形態１では撮像部２０は、高画質の動画像を撮像して制御装置１０に出力する。例えば、フルＨＤ以上の解像度で、６０Ｈｚ以上のフレームレートで撮像した画像信号を制御装置１０に出力する。
The
制御装置１０は処理部１１、Ｉ／Ｏ部１２、記録部１３及び通信部１４を備える。処理部１１は、一時保持部１１１、画像取得部１１２、ＵＩ制御部１１３、画像選択部１１４、画像補正部１１７及び画像投稿部１１８を含む。処理部１１の機能はハードウェア資源とソフトウェア資源の協働により実現できる。ハードウェア資源としてＣＰＵ、ＧＰＵ、ＤＳＰ、ＦＰＧＡ、ＲＯＭ、ＲＡＭ、その他のＬＳＩを利用できる。ソフトウェア資源としてオペレーティングシステム、アプリケーション、ファームウェア等のプログラムを利用できる。
The
記録部１３は不揮発性メモリであり、ＮＡＮＤ型フラッシュメモリチップ、ＳＳＤ、ＨＤＤ等の記録媒体を備える。通信部１４は、携帯電話通信網または無線ＬＡＮを利用して外部ネットワークに接続し、外部ネットワークに接続された機器と所定の通信プロトコルに準拠した通信処理を実行する。例えば、ＴＣＰ／ＩＰに準拠した通信処理を実行し、インターネット５に接続されたサーバ、ＰＣ、携帯機器などと接続する。
The
制御装置１０は、専用の筐体内に実装されてもよいし、カーナビゲーション装置や、ディスプレイオーディオ等のヘッドユニット内に実装されてもよい。後者の場合、制御装置１０の機能を実装した基板を、それらの筐体内に追加する形態でもよいし、それらの既存のハードウェア資源を時分割で活用する形態でもよい。また、スマートフォンやタブレット等の外部から持ち込まれた情報機器のハードウェア資源を活用する形態でもよい。
The
ユーザインタフェース部３０は、表示部３１、操作入力部３２、音声出力部３３、音声入力部３４を含む。表示部３１は、液晶ディスプレイ、有機ＥＬディスプレイ、又はヘッドアップディスプレイ（ＨＵＤ）を有し、制御装置１０から供給される画像信号を再生して表示する。表示部３１は、センタディスプレイ、ヘッドユニットディスプレイ等の車室内に既に設置されているディスプレイを利用してもよいし、専用のディスプレイを新たに設置してもよい。表示部３１と制御装置１０間は、バス、有線ＬＡＮ、無線ＬＡＮなど、任意の伝送形態で接続することができ、また、間に何か別の構成（デバイス）が介在していても良い。
The
操作入力部３２は、物理ボタン及びタッチパネルの少なくとも１つを有し、ユーザの操作を受け付け、受け付けた操作に応じた操作信号を生成し、制御装置１０に出力する。タッチパネルの場合、表示部３１を構成するディスプレイと一体化され、操作入力部３２は、タッチパネルに表示されるＧＵＩ（グラフィカルユーザインタフェース）で実現されることになる。
The
音声出力部３３はスピーカを有し、制御装置１０から供給される音声信号を再生して音声出力する。音声入力部３４はマイクを有し、集音した音を音声信号に変換して制御装置１０に出力する。音声出力部３３及び音声入力部３４も、車室内に存在する既存のスピーカ及びマイクを利用してもよいし、専用のスピーカ及びマイクを新たに設置してもよい。
The
位置情報検出部４０はＧＰＳセンサを有し、車両１の位置を検出する。具体的には複数のＧＰＳ衛星からそれぞれ発信時刻を受信し、受信した複数の発信時刻をもとに受信地点の緯度経度を算出する。位置情報検出部４０は算出した緯度経度を位置情報として制御装置１０に出力する。なお位置情報検出部４０はＧＰＳセンサを使用せずに、基地局装置との通信をもとに車両１の位置を検出してもよい。
The position
Ｉ／Ｏ部１２は、撮像部２０から供給される画像信号、操作入力部３２から供給される操作信号、音声入力部３４から供給される音声信号、位置情報検出部４０から供給される位置情報をそれぞれ処理部１１に出力する。またＩ／Ｏ部１２は、処理部１１から供給される画像信号を表示部３１に出力し、処理部１１から供給される音声信号を音声出力部３３に出力する。
The I /
またＩ／Ｏ部１２は、車載ネットワーク（例えば、ＣＡＮ（Controller Area Network））に接続されている。Ｉ／Ｏ部１２は車載ネットワークを介して、図示しないＥＣＵ(Electronic Control Unit)から、車速情報、舵角情報などの車両情報を受信して処理部１１に出力する。
Further, the I /
一時保持部１１１は、撮像部２０により撮像された一定時間分の画像を保持するための揮発性メモリであり、例えばリングバッファで構成される。一時保持部１１１は、ドライブレコーダのように長時間の画像データを保持できる記憶容量を備えている必要はなく、数秒～１０秒程度の画像データを保持できる記憶容量を備えていれば足りる。
The
画像取得部１１２は、撮像部２０により撮像された画像を順次取得し、一時保持部１１１にＦＩＦＯ方式で書き込む。ＵＩ制御部１１３は、ユーザインタフェース部３０に画像／音声信号を出力することにより、車両１内の運転者に所定の情報を通知する。またＵＩ制御部１１３は、運転者によりユーザインタフェース部３０に与えられた操作信号を受け付ける。例えば、運転者によりなされたシャッタ操作を受け付ける。
The
画像選択部１１４は、ユーザインタフェース部３０に対して与えられたシャッタ操作を受け付けた時刻から設定時間遡った時刻に撮像された、一時保持部１１１に保持されている画像を選択する。当該設定時間は、運転者が撮影意思を抱いてからシャッタ操作を行うまでの想定時間と、制御装置１０がシャッタ操作を受け付けてから撮像部２０が撮像するまでのシステム遅延時間に基づき予め決定された時間である。
The
図５は、シャッタ操作を受け付けた時刻から遡る設定時間を説明するための図である。運転者が撮影することを決定してからシャッタ操作を行うまでの想定時間（ｔ１－ｔ０）は、数１００ｍｓ～数ｓの値に設定される。人間の反応速度は時間に換算すると、２２５ｍｓ～８０８ｍｓ程度といわれている。ただし、この時間は操作対象が手の近傍にあり、選択肢を持たない場合の時間である。このように想定時間（ｔ１－ｔ０）は、シャッタ操作のユーザインタフェースに大きく依存することになる。 FIG. 5 is a diagram for explaining a set time that goes back from the time when the shutter operation is received. The estimated time (t1-t0) from the driver's decision to shoot to the shutter operation is set to a value of several 100 ms to several s. The reaction rate of humans is said to be about 225 ms to 808 ms in terms of time. However, this time is the time when the operation target is near the hand and there is no choice. As described above, the estimated time (t1-t0) largely depends on the user interface of the shutter operation.
例えば、シャッタ操作をセンタディスプレイのタッチパネルで行う場合、運転者が左手（右ハンドル車の場合）をセンタディスプレイまで伸ばす必要があり、手の動きに時間がかかる。またタッチパネルの操作メニューの仕様によっては、シャッタ操作を入力するまでに複数回のタッチが必要な場合もある。例えば、タッチパネルの画面が省電力モードで消灯している場合、１回目のタッチで画面が点灯してホーム画面が表示され、２回目のタッチでホーム画面から写真アプリケーションが選択され、３回目のタッチでシャッタ操作といった仕様が考えられる。 For example, when the shutter operation is performed on the touch panel of the center display, the driver needs to extend the left hand (in the case of a right-hand drive vehicle) to the center display, and it takes time to move the hand. Further, depending on the specifications of the operation menu of the touch panel, it may be necessary to touch multiple times before inputting the shutter operation. For example, if the touch panel screen is off in power saving mode, the first touch turns on the screen and displays the home screen, the second touch selects the photo application from the home screen, and the third touch. Specifications such as shutter operation can be considered.
また、シャッタ操作を音声入力で行う場合、音声アシスタントアプリケーションの起動に時間がかかる。２０１７年現在、運転者の最初の発声から、音声アシスタントアプリケーションが起動し、音声アシスタントアプリケーションが音声入力を受け付けるまでに数秒を要している。 Further, when the shutter operation is performed by voice input, it takes time to start the voice assistant application. As of 2017, it takes a few seconds from the driver's first utterance to the launch of the voice assistant application and the acceptance of voice input by the voice assistant application.
なお、想定時間（ｔ１－ｔ０）を短くできるユーザインタフェースとしては、ステアリングの所定の位置に、撮影用の物理ボタンを設置することが考えられる。 As a user interface that can shorten the assumed time (t1-t0), it is conceivable to install a physical button for shooting at a predetermined position of the steering.
設計者は、人間の反応速度とシャッタ操作のユーザインタフェースに基づき、想定時間（ｔ１－ｔ０）を設定する。なお想定時間（ｔ１－ｔ０）は、ユーザの操作により調整可能な設計にしてもよい。人間の反応速度は個人差が大きいため、ユーザが自己の感覚に合った想定時間（ｔ１－ｔ０）を設定できることが好ましい。 The designer sets the estimated time (t1-t0) based on the human reaction speed and the user interface of the shutter operation. The estimated time (t1-t0) may be designed to be adjustable by the user's operation. Since the reaction speed of humans varies greatly from person to person, it is preferable that the user can set an assumed time (t1-t0) that suits his or her senses.
シャッタ操作を受け付けてから実際に撮像して記録するまでのシステム遅延時間（ｔ２－ｔ１）は、数１０ｍｓ～数１００ｍｓの値に設定される。システム遅延時間は、プロセッサの動作クロックやファームウェアの仕様など、ハードウェア資源とソフトウェア資源のスペックに依存する。設計者は、使用するハードウェア資源とソフト資源のスペックに基づき、システム遅延時間（ｔ２－ｔ１）を設定する。 The system delay time (t2-t1) from receiving the shutter operation to actually capturing and recording is set to a value of several tens of ms to several hundred ms. The system delay time depends on the specifications of hardware and software resources such as the operating clock of the processor and the specifications of the firmware. The designer sets the system delay time (t2-t1) based on the specifications of the hardware resources and software resources used.
図４に戻る。撮像部２０により撮像され、画像選択部１１４により選択される画像が広角画像または超広角画像の場合、画像補正部１１７は、広角レンズまたは超広角レンズの画角に応じた歪みパラメータに基づき、選択された画像の座標を変換して画像の歪を補正する。また歪補正により生じた空白部分に画素を補間する。なお、選択された画像の一部の領域を切り出して使用する場合は、切り出された領域の画像が補正対象となる。
Return to FIG. When the image captured by the
ＵＩ制御部１１３は、画像補正部１１７により補正された画像を確認画像として表示部３１に表示させる。その際、ＵＩ制御部１１３は、「この画像をＳＮＳサイトに投稿しますか？」といったメッセージも合わせて表示させる。運転者が、操作入力部３２又は音声入力部３４に対してＯＫ操作を行うと、ＵＩ制御部１１３は操作入力部３２又は音声入力部３４から、ＯＫ操作に対応する信号を受信する。
The
ＵＩ制御部１１３がＯＫ操作に対応する信号を受信すると、画像投稿部１１８は上記確認画像を通信部１４に渡して、予め登録されたＳＮＳサイトにアップロードする。当該確認画像にはＰＯＩが付加される。
When the
なお確認画像とともに、ユーザにより操作入力部３２又は音声入力部３４に入力されたテキストメッセージ又は音声メッセージをアップロードしてもよい。また、ＳＮＳサイトにアップロードされた画像は同時に、記録部１３に記録されてもよいし、自宅のホームサーバーやクラウド上の自己のストレージにアップロードされてもよい。
A text message or a voice message input by the user to the
図６は、本発明の実施の形態１に係る画像撮像システム２の動作例を示すフローチャートである。画像取得部１１２は撮像部２０から画像を取得し、一時保持部１１１に書き込む（Ｓ１０）。一時保持部１１１は、画像取得部１１２により書き込まれた画像を設定時間（ｔ２－ｔ０）保持する（Ｓ１１）。
FIG. 6 is a flowchart showing an operation example of the
ＵＩ制御部１１３がユーザインタフェース部３０からシャッタ操作を受け付けると（Ｓ１２のＹ）、画像選択部１１４は一時保持部１１１から、設定時間（ｔ２－ｔ０）遡った時刻に撮像された画像を選択する（Ｓ１３）。ＵＩ制御部１１３は、選択された画像を確認画像として表示部３１に表示させる（Ｓ１４）。ＵＩ制御部１１３がユーザインタフェース部３０から投稿ＯＫの操作を受け付けると（Ｓ１５のＹ）、画像投稿部１１８は確認された画像をインターネット５上の所定のＳＮＳサイトにアップロードする（Ｓ１６）。
When the
以上説明したように実施の形態１によれば、撮像部２０により撮像された一定時間分の画像を一時保持部１１１に保持し、ユーザがシャッタ操作を行った時刻から、設定時間（ｔ２－ｔ０）遡った時刻に撮像された画像を抽出する。これにより、車両１の走行中であっても、カメラを構えて被写体を撮影した場合に撮影可能な画像と同等の画像を撮影することができる。即ち、撮影意思を抱いた瞬間の構図に近い構図の写真を、車両１の走行中に撮影することができる。
As described above, according to the first embodiment, the image for a certain period of time captured by the
また、ドライブレコーダのように大容量のバッファが必要ないため、低コストで実現することができる。また、運転支援や自動運転用の高品位なカメラで撮像された画像を流用すれば、低コストで高画質の写真を、車両１の走行中に撮影することができる。
In addition, unlike a drive recorder, it does not require a large-capacity buffer, so it can be realized at low cost. Further, by diverting the image captured by a high-quality camera for driving assistance or automatic driving, it is possible to take a high-quality photograph at low cost while the
（実施の形態２）
本発明の実施の形態２も、車両内に構築される画像撮像システム２である。実施の形態２に係る画像撮像システム２は、実施の形態１に係る画像撮像システム２より、さらに撮影者の意図に合致した構図の写真を撮影することが可能な仕組みを導入している。
(Embodiment 2)
The second embodiment of the present invention is also an
図７は、本発明の実施の形態２に係る、撮像部２０及び視線検知部５０の設置位置の一例を示す図である。視線検知部５０は、運転者の視線位置を検知するためのセンサであり、例えば可視光カメラ又は赤外線カメラを使用することができる。赤外線カメラを使用する場合、赤外線ＬＥＤを使用して運転者の眼に向けて弱い赤外線を照射し、運転者の眼を赤外線カメラで撮像すると検知精度が向上する。
FIG. 7 is a diagram showing an example of the installation positions of the
図７では視線検知部５０が、ステアリング固定部の上部に設置される例を示している。なお視線検知部５０は、運転者の視線を検知可能な位置であれば、車両内のどの位置に取り付けられてもよい。
FIG. 7 shows an example in which the line-of-
図８は、本発明の実施の形態２に係る、画像撮像システム２の構成を示すブロック図である。実施の形態２に係る画像撮像システム２は、実施の形態１に係る画像撮像システム２に対して視線検知部５０が追加された構成である。また実施の形態２に係る画像撮像システム２では、処理部１１に視線位置特定部１１５及び画像切出部１１６が追加される。また実施の形態２では、撮像部２０に超広角カメラが使用される。
FIG. 8 is a block diagram showing the configuration of the
視線検知部５０は、運転者の眼の画像を撮像して制御装置１０に出力する。視線位置特定部１１５は、視線検知部５０により撮像された画像をもとに運転者の視線位置を特定する。視線検知部５０に可視光カメラが使用されている場合、視線位置特定部１１５は可視光画像内の目頭を基準点に、虹彩を動点に設定し、基準点と動点の位置関係をもとに視線位置を特定する。視線検知部５０に赤外線カメラが使用されている場合、視線位置特定部１１５は赤外線画像内の角膜反射を基準点に、瞳孔を動点に設定し、基準点と動点の位置関係をもとに視線位置を特定する。
The line-of-
視線位置特定部１１５は、撮像部２０で撮像された各時刻の画像に、対応する時刻の視線位置情報を関連付ける。実施の形態２では、一時保持部１１１内の各画像は、撮像時刻の位置情報と、撮像時刻の運転者の視線位置情報とに関連付けられた状態で保持される。
The line-of-sight
画像選択部１１４は、ユーザインタフェース部３０に対して与えられたシャッタ操作を受け付けた時刻から設定時間（ｔ２－ｔ０）遡った時刻に撮像された、一時保持部１１１に保持されている複数のフレーム画像から、確認画像を切り出す元になるフレーム画像を選択する。画像切出部１１６は選択されたフレーム画像内から、当該フレーム画像の撮像時刻に検知された運転者の視線位置に基づき、確認画像を切り出す領域を決定する。
The
図９（ａ）－（ｃ）は、運転者の視線位置の移動例を示す図である。図９（ａ）は車両１を上方から俯瞰した模式図である。この車両１はステアリングホイール３が右側に設置されており、運転者が右側の座席に座っている状態を前提としている。フロントガラス上に描かれた複数の矢印線は、運転者の視線位置の移動軌跡Ｇ１を示している。
9 (a)-(c) are views showing an example of movement of the line-of-sight position of the driver. FIG. 9A is a schematic view of the
図９（ｂ）は、車両１内の運転席付近の模式図である。この例では、センタディスプレイ３１ａのタッチパネルの押下により、シャッタ操作を行う設計としている。なお、ヘッドユニットディスプレイ３１ｂのタッチパネルの押下により、シャッタ操作を行う設計としてもよい。
FIG. 9B is a schematic view of the vicinity of the driver's seat in the
図９（ｃ）は、運転者の視線位置の移動軌跡Ｇ１を数字で示した図である。数字は時間経過に対して昇順に増加させている。運転者は「１」－「６」の期間では、車両１の前方領域Ｒ１を視認している。「７」－「１０」の期間では車両１の左方領域Ｒ２に興味対象物を発見し、興味対象物を注視している。運転者はこの期間中に興味対象物を撮影したいと思い、「１１」の時点でセンタディスプレイ３１ａを押下して、シャッタ操作を行っている。その後の「１２」－「１６」の期間では、車両１の前方領域Ｒ１の視認に復帰している。
FIG. 9C is a diagram showing the movement locus G1 of the driver's line-of-sight position numerically. The numbers are increasing in ascending order over time. During the period of "1"-"6", the driver visually recognizes the front region R1 of the
図１０は、図９（ｃ）の運転者の視線位置の移動軌跡Ｇ１を時系列に示した図である。以下、シャッタ操作を受け付けた時刻から設定時間（ｔ２－ｔ０）遡った画像は、「８」時点で撮像された画像とする。 FIG. 10 is a diagram showing the movement locus G1 of the line-of-sight position of the driver in FIG. 9 (c) in chronological order. Hereinafter, the image taken back at the set time (t2-t0) from the time when the shutter operation is received is regarded as the image captured at the time of "8".
図１１は、「８」時点で撮像された画像から切り出される切出領域が固定の場合と可変の場合を比較した図である。超広角カメラで「８」時点に撮像された超広角画像Ｍ８には、第１被写体Ｏ１及び第２被写体Ｏ２が収まっている。上段は切出領域Ｃ０を、運転者の前方視認時の視野範囲に固定している例を示している。上段の例では、超広角画像Ｍ８の切出領域Ｃ０から第１被写体Ｏ１が欠落している。 FIG. 11 is a diagram comparing the case where the cutout region cut out from the image captured at the time “8” is fixed and the case where the cutout region is variable. The first subject O1 and the second subject O2 are contained in the ultra-wide-angle image M8 captured by the ultra-wide-angle camera at the time of "8". The upper part shows an example in which the cutout area C0 is fixed in the visual field range when the driver is visually recognizing the front. In the upper example, the first subject O1 is missing from the cutout region C0 of the ultra-wide-angle image M8.
下段は、切出領域Ｃ８を運転者の視線位置情報に基づき可変させる例を示している。「８」時点の運転者の視線位置は左方を見ており、その注視点を中心に切出領域Ｃ８を設定している。下段の例では、超広角画像Ｍ８の切出領域Ｃ８に第１被写体Ｏ１及び第２被写体Ｏ２が収まっている。 The lower part shows an example of changing the cutout area C8 based on the driver's line-of-sight position information. The driver's line of sight at "8" is looking to the left, and the cutout region C8 is set around the gaze point. In the lower example, the first subject O1 and the second subject O2 are contained in the cutout region C8 of the ultra-wide-angle image M8.
図１２は、本発明の実施の形態２に係る画像撮像システム２の動作例を示すフローチャートである。画像取得部１１２は撮像部２０から画像を取得し、一時保持部１１１に書き込む（Ｓ２０）。視線位置特定部１１５は、視線検知部５０から画像を取得して、運転者の視線位置を特定する（Ｓ２１）。一時保持部１１１は、画像取得部１１２により書き込まれた画像と、視線位置特定部１１５により特定された視線位置を関連付けて、設定時間（ｔ２－ｔ０）保持する（Ｓ２２）。
FIG. 12 is a flowchart showing an operation example of the
ＵＩ制御部１１３がユーザインタフェース部３０からシャッタ操作を受け付けると（Ｓ２３のＹ）、画像選択部１１４は一時保持部１１１から、設定時間（ｔ２－ｔ０）遡った時刻に撮像された画像を選択する（Ｓ２４）。画像切出部１１６は、選択された画像内から、当該画像に関連付けられた視線位置をもとに、確認画像とすべき領域の画像を切り出す（Ｓ２５）。ＵＩ制御部１１３は、切り出された画像を確認画像として表示部３１に表示させる（Ｓ２６）。ＵＩ制御部１１３がユーザインタフェース部３０から投稿ＯＫの操作を受け付けると（Ｓ２７のＹ）、画像投稿部１１８は確認された画像をインターネット５上の所定のＳＮＳサイトにアップロードする（Ｓ２８）。
When the
以上説明したように実施の形態２によれば、実施の形態１で説明した効果に加えて、広角画像または超広角画像内から、撮影者の視線位置情報に基づき撮影者が見ている方向の画像を切り出すことにより、撮影者の意図により合致した構図の写真を撮影することができる。 As described above, according to the second embodiment, in addition to the effect described in the first embodiment, the direction in which the photographer is looking from the wide-angle image or the ultra-wide-angle image based on the line-of-sight position information of the photographer. By cutting out the image, it is possible to take a picture with a composition that matches the photographer's intention.
以上、本発明を実施の形態をもとに説明した。これらの実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。 The present invention has been described above based on the embodiments. It will be appreciated by those skilled in the art that these embodiments are exemplary and that various variations of each of these components and combinations of processing processes are possible and that such modifications are also within the scope of the invention. By the way.
以下、実施の形態２の変形例を説明する。当該変形例では、画像選択部１１４は、シャッタ操作を受け付けた時刻から設定時間（ｔ２－ｔ０）遡った時刻付近に撮像された複数のフレーム画像から、当該時刻付近に検知された運転者の視線位置の推移に基づき、確認画像を切り出す元になるフレーム画像を選択する。
Hereinafter, a modified example of the second embodiment will be described. In the modification, the
図１３（ａ）－（ｃ）は、図９（ａ）－（ｃ）に示した視線位置の移動例の変形例を示す図である。図１３（ａ）－（ｃ）に示す運転者の視線位置の移動軌跡Ｇ１は、図９（ａ）－（ｃ）に示した運転者の視線位置の移動軌跡Ｇ１と比較して、「８」時点の視線位置が異なる。「７」－「１０」の期間において運転者は基本的に、車両１の左方領域Ｒ２に存在する興味対象物を注視しているが、「８」時点において一時的に前方視認を行っている。運転者が車両１の左方領域Ｒ２の興味対象物を注視中に前方の状況が気になり、一度、前方の状況を視認しにいった状況である。
13 (a)-(c) is a diagram showing a modified example of the movement example of the line-of-sight position shown in FIGS. 9 (a)-(c). The movement locus G1 of the line-of-sight position of the driver shown in FIGS. 13 (a)-(c) is compared with the movement locus G1 of the line-of-sight position of the driver shown in FIGS. 9 (a)-(c). The line-of-sight position at the time is different. During the period of "7" to "10", the driver is basically gazing at the object of interest existing in the left region R2 of the
図１４は、図１３（ｃ）の運転者の視線位置の移動軌跡Ｇ１を時系列に示した図である。シャッタ操作を受け付けた時刻から設定時間（ｔ２－ｔ０）遡った画像が、「８」時点で撮像された画像であるとすると、選択された「８」時点の画像は、運転者が撮りたい構図の写真と異なり、前方を撮影した写真となってしまう。 FIG. 14 is a diagram showing the movement locus G1 of the line-of-sight position of the driver in FIG. 13 (c) in chronological order. Assuming that the image taken back at the set time (t2-t0) from the time when the shutter operation is received is the image captured at the time of "8", the selected image at the time of "8" is the composition that the driver wants to take. Unlike the photo in, it will be a photo taken in front.
そこで変形例では画像選択部１１４は、シャッタ操作を受け付けた時刻から設定時間（ｔ２－ｔ０）遡ったフレーム画像付近の複数枚のフレーム画像の視線位置を参照する。画像選択部１１４は、複数枚のフレーム画像の視線位置の平均または重心との乖離が所定値以上大きい視線位置のフレーム画像を、選択対象から除外する。図１４に示す例では、「８」時点のフレーム画像が選択対象から除外されることになる。画像選択部１１４は、シャッタ操作を受け付けた時刻から設定時間（ｔ２－ｔ０）遡った「８」時点のフレーム画像に近い「７」又は「９」時点のフレーム画像を選択する。
Therefore, in the modified example, the
また画像選択部１１４は、シャッタ操作を受け付けた時刻から設定時間（ｔ２－ｔ０）遡ったフレーム画像付近の複数枚のフレーム画像から、視線位置が乖離しているフレーム画像を除外した残りのフレーム画像に対して所定の画質評価を行い、最も評価が高いフレーム画像を選択してもよい。これにより、ブレが大きいフレーム画像は選択対象から除外される。以上の説明したように変形例によれば、撮影者の意図と大きく異なる構図の写真が選択されることを回避することができる。
Further, the
上述の実施の形態１、２では撮影者として運転者を想定したが、撮影者は運転者に限らず同乗者でもよい。特に実施の形態１では、運転者と、助手席に座っている同乗者は同じ操作で写真を撮影することができる。実施の形態２では助手席に座っている同乗者のための別の視線検知部５０を設置し、シャッタ操作を運転者用と同乗者用で分ける必要がある。
In the above-described first and second embodiments, the driver is assumed as the photographer, but the photographer is not limited to the driver but may be a passenger. In particular, in the first embodiment, the driver and the passenger sitting in the passenger seat can take a picture by the same operation. In the second embodiment, it is necessary to install another line-of-
上述の実施の形態１、２では設定時間を、撮影意思を抱いてからシャッタ操作を行うまでの想定時間と、シャッタ操作を受け付けてから撮像するまでのシステム遅延時間をもとに決定したが、車両１の車速情報を考慮してもよい。例えば、車速が速い場合は、写真構図の変化も速くなる。そこで画像選択部１１４は、車速が速いほど上記設定時間が長くなるように上記設定時間を補正し、車速が遅いほど上記設定時間が短くなるように上記設定時間を補正する。
In the above-described first and second embodiments, the set time is determined based on the estimated time from the intention to shoot to the shutter operation and the system delay time from the reception of the shutter operation to the imaging. The vehicle speed information of the
なお、実施の形態は、以下の項目によって特定されてもよい。 The embodiment may be specified by the following items.
［項目１］
車両（１）に設置されて当該車両（１）の外部を撮像する撮像装置（２０）と、任意の画像を表示する表示装置（３１）とに接続される表示制御装置（１０）であって、
前記表示制御装置（１０）の動作を制御する制御部（１１２－１１８）と、
前記撮像装置（２０）から受信した一以上の画像を記憶する記憶部（１１１）と、
を備え、
前記制御部（１１２－１１８）は、
乗員による操作を受け付ける入力部（３２／３４）において前記操作を受け付けた第１時刻から設定時間遡った第２時刻に前記撮像装置（２０）によって撮像され、前記記憶部（１１１）に保持されている、前記一以上の画像のうちの第１画像を決定し、
前記表示装置（３１）に対して、決定した前記第１画像の少なくとも一部を表示させる表示指示を送信する、
表示制御装置（１０）。
これにより、車両（１）の走行中に、撮影者の意図した写真を撮影することができる。
［項目２］
前記撮像装置（２０）により撮像された前記一以上の画像を受信する受信部（１２）と、
前記表示装置（３１）に対して、当該表示装置（３１）に表示させる情報を送信する送信部（１２）と、を更に備え、
前記制御部（１１２－１１８）は、前記送信部（１２）を介して、前記表示装置（３１）に対して前記表示指示を送信する、
項目１に記載の表示制御装置（１０）。
これにより、表示装置（３１）に任意の画像を任意のタイミングで表示させることができる。
［項目３］
前記設定時間（ｔ２－ｔ０）は、前記入力部（３２／３４）のユーザインタフェースの種類に基づいて決定される、
項目１または２に記載の表示制御装置（１０）。
これにより、操作入力に関するユーザインタフェースの種類に応じて、適切な設定時間（ｔ２－ｔ０）を設定することができる。
［項目４］
前記設定時間（ｔ２－ｔ０）は、乗員が撮影意思を抱いてから前記操作を行うまでの想定時間（ｔ１－ｔ０）と、前記操作を受け付けてから撮像するまでのシステム遅延時間（ｔ２－ｔ１）に基づき決定されている、項目１または２に記載の表示制御装置（１０）。
これにより、乗員が撮影意思を抱いたときの構図の写真を撮影することができる。
［項目５］
前記想定時間（ｔ１－ｔ０）は、前記操作のユーザインタフェースに基づき決定されている、項目４に記載の表示制御装置（１０）。
これにより、より正確な想定時間（ｔ１－ｔ０）を設定することができる。
［項目６］
前記表示装置（３１）は、前記車両（１）内のタッチパネル（タッチディスプレイ）（３１ａ）であり、
前記入力部（３２）は、前記タッチパネル（タッチディスプレイ）（３１ａ）に表示されるグラフィカルユーザインタフェースである、
項目１から５のいずれか一に記載の表示制御装置（１０）。
これにより、シャッタ操作がタッチパネル（タッチディスプレイ）（３１ａ）内のシャッタキーの押下である場合において、より正確な想定時間（ｔ１－ｔ０）を設定することができる。
［項目７］
前記入力部（３４）は、音声によって前記表示制御装置（１０）への指示を入力可能な音声入力部（３４）である、
項目１から５のいずれか一に記載の表示制御装置（１０）。
これにより、シャッタ操作が音声入力である場合において、より正確な想定時間（ｔ１－ｔ０）を設定することができる。
［項目８］
前記制御部（１１２－１１８）は、前記第１画像の中の一部の領域を切り出した第２画像を生成し、
前記表示指示は、前記第２画像を表示させる指示である、
項目１から７のいずれか一に記載の表示制御装置（１０）。
これにより、撮影者の意図に合致した構図の写真を撮影することができる。
［項目９］
前記車両（１）に設置され、前記車両（１）内の乗員の視線位置を検知する検知装置（５０）と、更に接続され、
前記受信部（１２）は、前記検知装置（５０）から、前記乗員の視線位置を示す視線位置情報を受信し、
前記制御部（１１２－１１８）は、
受信した前記視線位置情報に基づいて、前記第１画像から切り出す領域を決定する、
項目２に記載の表示制御装置（１０）。
これにより、撮影者の意図に合致した構図の写真を撮影することができる。
［項目１０］
前記車両（１）に設置され、前記車両（１）内の乗員の視線位置を検知する検知装置（５０）と、更に接続され、
前記一以上の画像は、複数のフレーム画像であって、
前記受信部（１２）は、前記検知装置（５０）から、前記乗員の視線位置を示す視線位置情報を受信し、
前記制御部（１１２－１１８）は、
前記第２時刻付近に撮像された前記複数のフレーム画像の中から、受信した前記視線位置情報に基づいて、第１画像を決定する、
項目２に記載の表示制御装置（１０）。
これにより、撮影者の意図に合致した構図の写真を撮影することができる。また撮影者の意図から外れた構図の写真が選択される可能性を下げることができる。
［項目１１］
前記車両（１）の位置情報を検出する位置情報検出部（４０）をさらに備え、
前記記憶部（１１１）は、前記画像と、前記画像が撮像された時刻において前記位置情報検出部（４０）において検出された位置情報とを関連付けて記憶する、
項目１から１０のいずれか一に記載の表示制御装置（１０）。
これにより、写真の撮影位置情報を記録することができる。
［項目１２］
前記一以上の画像は、広角画像または超広角画像である、
項目１から１１のいずれか一に記載の表示制御装置（１０）。
これにより、広範囲の被写体を撮影することができる。
［項目１３］
インターネット上の所定のサイトと通信を行なう通信部（１４）を更に備え、
前記制御部（１１２－１１８）は、前記通信部（１４）に対して、前記表示装置（３１）に表示させた前記第１画像の少なくとも一部を前記所定のサイトにアップロードさせる、
項目１から１２のいずれか一に記載の表示制御装置（１０）。
これにより、撮影者は走行中に撮影した写真を、車両（１）の中からリアルタイムに、ＳＮＳサイト等に投稿することができる。
［項目１４］
車両（１）に設置されて当該車両（１）の外部を撮像する撮像装置（２０）と、
任意の画像を表示する表示装置（３１）と、
前記撮像装置（２０）と、前記表示装置（３１）とに接続される表示制御装置（１０）と、を備える表示制御システム（２）であって、
前記表示制御装置（１０）は、
前記表示制御装置（１０）の動作を制御する制御部（１１２－１１８）と、
前記撮像装置（２０）により撮像された一以上の画像を受信する受信部（１２）と、
受信した前記一以上の画像を記憶する記憶部（１１１）と、を有し、
前記制御部（１１２－１１８）は、
乗員による操作を受け付ける入力部（３２／３４）において前記操作を受け付けた第１時刻から設定時間遡った第２時刻に前記撮像装置（２０）によって撮像され、前記記憶部（１１１）に保持されている、前記一以上の画像のうちの第１画像を決定し、
前記表示装置（３１）に対して、決定した前記第１画像の少なくとも一部を表示させる表示指示を送信する、
表示制御システム（２）。
これにより、車両（１）の走行中に、撮影者の意図した写真を撮影することができる。
［項目１５］
車両（１）に設置されて当該車両（１）の外部を撮像する撮像装置（２０）により撮像された一以上の画像を受信するステップと、
受信した前記一以上の画像を記憶部（１１１）に記憶するステップと、
乗員による操作を受け付けるステップと、
前記操作を受け付けた第１時刻から設定時間遡った第２時刻に前記撮像装置（２０）によって撮像され、前記記憶部（１１１）に保持されている、前記一以上の画像のうちの第１画像を決定するステップと、
任意の画像を表示する表示装置（３１）に対して、決定した前記第１画像の少なくとも一部を表示させる表示指示を送信するステップと、を有する、
表示制御方法。
これにより、車両（１）の走行中に、撮影者の意図した写真を撮影することができる。
［項目１６］
車両（１）に設置されて当該車両（１）の外部を撮像する撮像装置（２０）により撮像された一以上の画像を受信する処理と、
受信した前記一以上の画像を記憶部（１１１）に記憶する処理と、
乗員による操作を受け付ける処理と、
前記操作を受け付けた第１時刻から設定時間遡った第２時刻に前記撮像装置（２０）によって撮像され、前記記憶部（１１１）に保持されている、前記一以上の画像のうちの第１画像を決定する処理と、
任意の画像を表示する表示装置（３１）に対して、決定した前記第１画像の少なくとも一部を表示させる表示指示を送信する処理と、をコンピュータに実行させる、
表示制御プログラム。
これにより、車両（１）の走行中に、撮影者の意図した写真を撮影することができる。
[Item 1]
A display control device (10) installed in a vehicle (1) and connected to an image pickup device (20) that images the outside of the vehicle (1) and a display device (31) that displays an arbitrary image. ,
A control unit (112-118) that controls the operation of the display control device (10), and
A storage unit (111) that stores one or more images received from the image pickup device (20), and a storage unit (111).
Equipped with
The control unit (112-118)
The input unit (32/34) that accepts the operation by the occupant is imaged by the image pickup apparatus (20) at the second time that is set back from the first time that the operation is received, and is held by the storage unit (111). The first image of the above-mentioned one or more images is determined.
A display instruction for displaying at least a part of the determined first image is transmitted to the display device (31).
Display control device (10).
This makes it possible to take a picture intended by the photographer while the vehicle (1) is traveling.
[Item 2]
A receiving unit (12) that receives the one or more images captured by the image pickup device (20), and a receiving unit (12).
The display device (31) is further provided with a transmission unit (12) for transmitting information to be displayed on the display device (31).
The control unit (112-118) transmits the display instruction to the display device (31) via the transmission unit (12).
The display control device (10) according to
As a result, the display device (31) can display an arbitrary image at an arbitrary timing.
[Item 3]
The set time (t2-t0) is determined based on the type of user interface of the input unit (32/34).
The display control device (10) according to
Thereby, an appropriate setting time (t2-t0) can be set according to the type of the user interface related to the operation input.
[Item 4]
The set time (t2-t0) is an estimated time (t1-t0) from when the occupant has the intention of taking a picture to performing the operation, and a system delay time (t2-t1) from receiving the operation to taking an image. ), The display control device (10) according to
This makes it possible to take a picture of the composition when the occupant has the intention to take a picture.
[Item 5]
The display control device (10) according to
This makes it possible to set a more accurate estimated time (t1-t0).
[Item 6]
The display device (31) is a touch panel (touch display) (31a) in the vehicle (1).
The input unit (32) is a graphical user interface displayed on the touch panel (touch display) (31a).
The display control device (10) according to any one of
Thereby, when the shutter operation is the pressing of the shutter key in the touch panel (touch display) (31a), a more accurate estimated time (t1-t0) can be set.
[Item 7]
The input unit (34) is a voice input unit (34) capable of inputting an instruction to the display control device (10) by voice.
The display control device (10) according to any one of
Thereby, when the shutter operation is a voice input, a more accurate estimated time (t1-t0) can be set.
[Item 8]
The control unit (112-118) generates a second image obtained by cutting out a part of the region in the first image.
The display instruction is an instruction to display the second image.
The display control device (10) according to any one of
This makes it possible to take a picture with a composition that matches the photographer's intention.
[Item 9]
It is further connected to a detection device (50) installed in the vehicle (1) and detecting the line-of-sight position of an occupant in the vehicle (1).
The receiving unit (12) receives the line-of-sight position information indicating the line-of-sight position of the occupant from the detection device (50), and receives the line-of-sight position information.
The control unit (112-118)
A region to be cut out from the first image is determined based on the received line-of-sight position information.
The display control device (10) according to
This makes it possible to take a picture with a composition that matches the photographer's intention.
[Item 10]
It is further connected to a detection device (50) installed in the vehicle (1) and detecting the line-of-sight position of an occupant in the vehicle (1).
The one or more images are a plurality of frame images, and the image is a plurality of frame images.
The receiving unit (12) receives the line-of-sight position information indicating the line-of-sight position of the occupant from the detection device (50), and receives the line-of-sight position information.
The control unit (112-118)
A first image is determined from the plurality of frame images captured in the vicinity of the second time based on the received line-of-sight position information.
The display control device (10) according to
This makes it possible to take a picture with a composition that matches the photographer's intention. In addition, it is possible to reduce the possibility that a photograph having a composition that is not intended by the photographer is selected.
[Item 11]
A position information detection unit (40) for detecting the position information of the vehicle (1) is further provided.
The storage unit (111) stores the image in association with the position information detected by the position information detection unit (40) at the time when the image is captured.
The display control device (10) according to any one of
This makes it possible to record the shooting position information of the photograph.
[Item 12]
The one or more images are wide-angle or ultra-wide-angle images.
The display control device (10) according to any one of
This makes it possible to shoot a wide range of subjects.
[Item 13]
Further equipped with a communication unit (14) that communicates with a predetermined site on the Internet,
The control unit (112-118) causes the communication unit (14) to upload at least a part of the first image displayed on the display device (31) to the predetermined site.
The display control device (10) according to any one of
As a result, the photographer can post the photograph taken while driving to the SNS site or the like in real time from the vehicle (1).
[Item 14]
An image pickup device (20) installed in the vehicle (1) to take an image of the outside of the vehicle (1), and
A display device (31) that displays an arbitrary image, and
A display control system (2) including the image pickup device (20) and a display control device (10) connected to the display device (31).
The display control device (10) is
A control unit (112-118) that controls the operation of the display control device (10), and
A receiving unit (12) that receives one or more images captured by the image pickup device (20), and a receiving unit (12).
It has a storage unit (111) for storing one or more received images, and has a storage unit (111).
The control unit (112-118)
The input unit (32/34) that accepts the operation by the occupant is imaged by the image pickup apparatus (20) at the second time that is set back from the first time that the operation is received, and is held by the storage unit (111). The first image of the above-mentioned one or more images is determined.
A display instruction for displaying at least a part of the determined first image is transmitted to the display device (31).
Display control system (2).
This makes it possible to take a picture intended by the photographer while the vehicle (1) is traveling.
[Item 15]
A step of receiving one or more images taken by an image pickup device (20) installed in a vehicle (1) and taking an image of the outside of the vehicle (1).
A step of storing the received one or more images in the storage unit (111), and
Steps to accept operations by occupants and
The first image of the one or more images captured by the image pickup apparatus (20) and held in the storage unit (111) at the second time set back from the first time when the operation is received. And the steps to decide
It has a step of transmitting a display instruction for displaying at least a part of the determined first image to a display device (31) for displaying an arbitrary image.
Display control method.
This makes it possible to take a picture intended by the photographer while the vehicle (1) is traveling.
[Item 16]
A process of receiving one or more images taken by an image pickup device (20) installed in a vehicle (1) and taking an image of the outside of the vehicle (1).
A process of storing the received one or more images in the storage unit (111), and
The process of accepting operations by the occupants and
The first image of the one or more images captured by the image pickup apparatus (20) and held in the storage unit (111) at the second time set back from the first time when the operation is received. And the process of determining
A computer is made to execute a process of transmitting a display instruction for displaying at least a part of the determined first image to a display device (31) that displays an arbitrary image.
Display control program.
This makes it possible to take a picture intended by the photographer while the vehicle (1) is traveling.
１ 車両、 ２ 画像撮像システム、 ３ ステアリングホイール、 ５ インターネット、 １０ 制御装置、 １１ 処理部、 １２ Ｉ／Ｏ部、 １３ 記録部、 １４ 通信部、 ２０ 撮像部、 ３０ ユーザインタフェース部、 ３１ 表示部、 ３１ａ センタディスプレイ、 ３１ｂ ヘッドユニットディスプレイ、 ３２ 操作入力部、 ３３ 音声出力部、 ３４ 音声入力部、 ４０ 位置情報検出部、 ５０ 視線検知部、 １１１ 一時保持部、 １１２ 画像取得部、 １１３ ＵＩ制御部、 １１４ 画像選択部、 １１５ 視線位置特定部、 １１６ 画像切出部、 １１７ 画像補正部、 １１８ 画像投稿部。 1 vehicle, 2 image imaging system, 3 steering wheel, 5 internet, 10 control device, 11 processing unit, 12 I / O unit, 13 recording unit, 14 communication unit, 20 imaging unit, 30 user interface unit, 31 display unit, 31a center display, 31b head unit display, 32 operation input unit, 33 audio output unit, 34 audio input unit, 40 position information detection unit, 50 line-of-sight detection unit, 111 temporary holding unit, 112 image acquisition unit, 113 UI control unit, 114 image selection unit, 115 line-of-sight position identification unit, 116 image cutout unit, 117 image correction unit, 118 image submission unit.
Claims (14)
前記表示制御装置の動作を制御する制御部と、
前記撮像装置により撮像された複数のフレーム画像を受信する受信部と、
前記撮像装置から受信した前記複数のフレーム画像を記憶する記憶部と、
前記表示装置に対して、当該表示装置に表示させる情報を送信する送信部と、を備え、
前記受信部は、前記検知装置から、前記乗員の視線位置を受信し、
前記記憶部は、前記複数のフレーム画像を、それぞれの撮影時刻における前記視線位置と関連付けて保持し、
前記制御部は、
前記記憶部に保持されている、乗員による操作を受け付ける入力部において前記操作を受け付けた第１時刻から設定時間、遡った第２時刻に前記撮像装置によって撮像されたフレーム画像付近の複数のフレーム画像の視線位置を参照し、参照した複数のフレーム画像の視線位置の平均または重心との乖離が所定値以上大きい視線位置のフレーム画像を選択対象から除外し、
前記乖離が所定値以上大きい視線位置のフレーム画像を除外した、前記第２時刻に撮像されたフレーム画像付近の複数のフレーム画像の中から、受信した前記視線位置に基づいて第１画像を決定し、
前記送信部を介して、前記表示装置に対して、決定した前記第１画像の少なくとも一部を表示させる表示指示を送信する、
表示制御装置。 It is connected to an image pickup device installed in a vehicle to image the outside of the vehicle, a display device to display an arbitrary image, and a detection device installed in the vehicle to detect the line-of-sight position of an occupant in the vehicle. Display control device
A control unit that controls the operation of the display control device,
A receiving unit that receives a plurality of frame images captured by the image pickup device, and
A storage unit that stores the plurality of frame images received from the image pickup device, and a storage unit.
The display device is provided with a transmission unit for transmitting information to be displayed on the display device.
The receiving unit receives the line-of-sight position of the occupant from the detection device, and receives the line-of-sight position of the occupant.
The storage unit holds the plurality of frame images in association with the line-of-sight position at each shooting time.
The control unit
A plurality of frame images in the vicinity of the frame image captured by the image pickup device at the set time from the first time when the operation is received in the input unit which receives the operation by the occupant and the second time retroactively held in the storage unit. Refer to the line-of-sight position of, and exclude the frame image of the line-of-sight position where the deviation from the average or the center of gravity of the line-of-sight positions of the referenced multiple frame images is larger than a predetermined value from the selection target.
A first image is determined based on the received line-of-sight position from a plurality of frame images in the vicinity of the frame image captured at the second time, excluding the frame image of the line-of-sight position where the dissociation is larger than a predetermined value. ,
A display instruction for displaying at least a part of the determined first image is transmitted to the display device via the transmission unit.
Display control device.
請求項１に記載の表示制御装置。 The set time is determined based on the type of user interface of the input unit.
The display control device according to claim 1.
請求項１に記載の表示制御装置。 The set time is determined based on the estimated time from when the occupant has the intention of taking a picture to performing the operation, and the system delay time from receiving the operation to taking an image.
The display control device according to claim 1.
請求項３に記載の表示制御装置。 The estimated time is determined based on the user interface of the operation.
The display control device according to claim 3.
請求項１から４のいずれか一に記載の表示制御装置。 The input unit is a graphical user interface displayed on a touch panel or a touch display.
The display control device according to any one of claims 1 to 4.
請求項１から４のいずれか一に記載の表示制御装置。 The input unit is a voice input unit capable of inputting an instruction to the display control device by voice.
The display control device according to any one of claims 1 to 4.
前記表示指示は、前記第２画像を表示させる指示である、
請求項１から６のいずれか一に記載の表示制御装置。 The control unit generates a second image obtained by cutting out a part of the region in the first image.
The display instruction is an instruction to display the second image.
The display control device according to any one of claims 1 to 6.
受信した前記視線位置に基づいて、前記第１画像から切り出す領域を決定する、
請求項１に記載の表示制御装置。 The control unit
A region to be cut out from the first image is determined based on the received line -of-sight position .
The display control device according to claim 1.
前記記憶部は、前記複数のフレーム画像と、前記複数のフレーム画像が撮像された時刻において前記位置情報検出部において検出された位置情報とを関連付けて記憶する、
請求項１から８のいずれか一に記載の表示制御装置。 Further provided with a position information detection unit for detecting the position information of the vehicle,
The storage unit stores the plurality of frame images in association with the position information detected by the position information detection unit at the time when the plurality of frame images are captured.
The display control device according to any one of claims 1 to 8.
請求項１から９のいずれか一に記載の表示制御装置。 The plurality of frame images are wide-angle images or ultra-wide-angle images.
The display control device according to any one of claims 1 to 9.
前記制御部は、前記通信部に対して、前記表示装置に表示させた前記第１画像の少なくとも一部を前記所定のサイトにアップロードさせる、
請求項１から１０のいずれか一に記載の表示制御装置。 It also has a communication unit that communicates with a predetermined site on the Internet.
The control unit causes the communication unit to upload at least a part of the first image displayed on the display device to the predetermined site.
The display control device according to any one of claims 1 to 10.
任意の画像を表示する表示装置と、
前記車両に設置され、前記車両内の乗員の視線位置を検知する検知装置と、
前記撮像装置と、前記表示装置と、前記検知装置とに接続される表示制御装置と、を備える表示制御システムであって、
前記表示制御装置は、
前記表示制御装置の動作を制御する制御部と、
前記撮像装置により撮像された複数のフレーム画像を受信する受信部と、
受信した前記複数のフレーム画像を記憶する記憶部と、
前記表示装置に対して、当該表示装置に表示させる情報を送信する送信部と、を有し、
前記受信部は、前記検知装置から、前記乗員の視線位置を受信し、
前記記憶部は、前記複数のフレーム画像を、それぞれの撮影時刻における前記視線位置と関連付けて保持し、
前記制御部は、
前記記憶部に保持されている、乗員による操作を受け付ける入力部において前記操作を受け付けた第１時刻から設定時間、遡った第２時刻に前記撮像装置によって撮像されたフレーム画像付近の複数のフレーム画像の視線位置を参照し、参照した複数のフレーム画像の視線位置の平均または重心との乖離が所定値以上大きい視線位置のフレーム画像を選択対象から除外し、
前記乖離が所定値以上大きい視線位置のフレーム画像を除外した、前記第２時刻に撮像されたフレーム画像付近の複数のフレーム画像の中から、受信した前記視線位置に基づいて第１画像を決定し、
前記送信部を介して、前記表示装置に対して、決定した前記第１画像の少なくとも一部を表示させる表示指示を送信する、
表示制御システム。 An image pickup device installed in a vehicle that captures the outside of the vehicle,
A display device that displays an arbitrary image and
A detection device installed in the vehicle to detect the line-of-sight position of an occupant in the vehicle,
A display control system including the image pickup device, the display device, and a display control device connected to the detection device.
The display control device is
A control unit that controls the operation of the display control device,
A receiving unit that receives a plurality of frame images captured by the image pickup device, and
A storage unit that stores the received multiple frame images, and
It has a transmission unit for transmitting information to be displayed on the display device to the display device.
The receiving unit receives the line-of-sight position of the occupant from the detection device, and receives the line-of-sight position of the occupant.
The storage unit holds the plurality of frame images in association with the line-of-sight position at each shooting time.
The control unit
A plurality of frame images in the vicinity of the frame image captured by the image pickup device at the set time from the first time when the operation is received in the input unit which receives the operation by the occupant and the second time retroactively held in the storage unit. Refer to the line-of-sight position of, and exclude the frame image of the line-of-sight position where the deviation from the average or the center of gravity of the line-of-sight positions of the referenced multiple frame images is larger than a predetermined value from the selection target.
A first image is determined based on the received line-of-sight position from a plurality of frame images in the vicinity of the frame image captured at the second time, excluding the frame image of the line-of-sight position where the dissociation is larger than a predetermined value. ,
A display instruction for displaying at least a part of the determined first image is transmitted to the display device via the transmission unit.
Display control system.
前記車両に設置され、前記車両内の乗員の視線位置を検知する検知装置から、前記乗員の視線位置を受信するステップと、
受信した前記複数のフレーム画像を、それぞれの撮影時刻における前記視線位置と関連付けて記憶部に記憶するステップと、
乗員による操作を受け付けるステップと、
前記記憶部に保持されている、前記操作を受け付けた第１時刻から設定時間、遡った第２時刻に前記撮像装置によって撮像されたフレーム画像付近の複数のフレーム画像の視線位置を参照し、参照した複数のフレーム画像の視線位置の平均または重心との乖離が所定値以上大きい視線位置のフレーム画像を選択対象から除外するステップと、
前記乖離が所定値以上大きい視線位置のフレーム画像を除外した、前記第２時刻に撮像されたフレーム画像付近の複数のフレーム画像の中から、受信した前記視線位置に基づいて第１画像を決定するステップと、
任意の画像を表示する表示装置に対して、決定した前記第１画像の少なくとも一部を表示させる表示指示を送信するステップと、を有する、
表示制御方法。 A step of receiving a plurality of frame images taken by an image pickup device installed in a vehicle and taking an image of the outside of the vehicle, and
A step of receiving the line-of-sight position of the occupant from a detection device installed in the vehicle and detecting the line-of-sight position of the occupant in the vehicle.
A step of associating the received plurality of frame images with the line-of-sight position at each shooting time and storing them in a storage unit.
Steps to accept operations by occupants and
Refer to and refer to the line-of-sight positions of a plurality of frame images in the vicinity of the frame image captured by the image pickup apparatus at the set time and the second time retroactive from the first time when the operation is received , which is held in the storage unit . The step of excluding the frame image of the line-of-sight position whose deviation from the average or the center of gravity of the line-of-sight positions of the plurality of frame images is larger than a predetermined value from the selection target,
A first image is determined based on the received line-of-sight position from a plurality of frame images in the vicinity of the frame image captured at the second time, excluding the frame image of the line-of-sight position where the dissociation is larger than a predetermined value. Steps and
The present invention comprises a step of transmitting a display instruction for displaying at least a part of the determined first image to a display device for displaying an arbitrary image.
Display control method.
前記車両に設置され、前記車両内の乗員の視線位置を検知する検知装置から、前記乗員の視線位置を受信する処理と、
受信した前記複数のフレーム画像を、それぞれの撮影時刻における前記視線位置と関連付けて記憶部に記憶する処理と、
乗員による操作を受け付ける処理と、
前記記憶部に保持されている、前記操作を受け付けた第１時刻から設定時間、遡った第２時刻に前記撮像装置によって撮像されたフレーム画像付近の複数のフレーム画像の視線位置を参照し、参照した複数のフレーム画像の視線位置の平均または重心との乖離が所定値以上大きい視線位置のフレーム画像を選択対象から除外する処理と、
前記乖離が所定値以上大きい視線位置のフレーム画像を除外した、前記第２時刻に撮像されたフレーム画像付近の複数のフレーム画像の中から、受信した前記視線位置に基づいて第１画像を決定する処理と、
任意の画像を表示する表示装置に対して、決定した前記第１画像の少なくとも一部を表示させる表示指示を送信する処理と、をコンピュータに実行させる、
表示制御プログラム。 Processing to receive multiple frame images captured by an image pickup device installed in the vehicle and capturing the outside of the vehicle,
A process of receiving the line-of-sight position of the occupant from a detection device installed in the vehicle and detecting the line-of-sight position of the occupant in the vehicle.
A process of storing the received plurality of frame images in the storage unit in association with the line-of-sight position at each shooting time.
The process of accepting operations by the occupants and
Refer to and refer to the line-of-sight positions of a plurality of frame images in the vicinity of the frame image captured by the image pickup apparatus at the set time and the second time retroactive from the first time when the operation is received , which is held in the storage unit . The process of excluding the frame image of the line-of-sight position where the deviation from the average or the center of gravity of the line-of-sight positions of the plurality of frame images is larger than a predetermined value from the selection target,
A first image is determined based on the received line-of-sight position from a plurality of frame images in the vicinity of the frame image captured at the second time, excluding the frame image of the line-of-sight position where the dissociation is larger than a predetermined value. Processing and
A computer is made to execute a process of transmitting a display instruction for displaying at least a part of the determined first image to a display device for displaying an arbitrary image.
Display control program.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017144502A JP7018561B2 (en) | 2017-07-26 | 2017-07-26 | Display control device, display control system, display control method, and display control program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017144502A JP7018561B2 (en) | 2017-07-26 | 2017-07-26 | Display control device, display control system, display control method, and display control program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2019027824A JP2019027824A (en) | 2019-02-21 |
| JP7018561B2 true JP7018561B2 (en) | 2022-02-14 |
Family
ID=65478054
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017144502A Active JP7018561B2 (en) | 2017-07-26 | 2017-07-26 | Display control device, display control system, display control method, and display control program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7018561B2 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7358130B2 (en) * | 2019-09-12 | 2023-10-10 | キヤノン株式会社 | Electronic equipment and its control method |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002271673A (en) | 2001-03-09 | 2002-09-20 | Fuji Photo Film Co Ltd | Electronic camera and static image recording method |
| JP2006172215A (en) | 2004-12-16 | 2006-06-29 | Fuji Photo Film Co Ltd | Driving support system |
| JP2007104529A (en) | 2005-10-07 | 2007-04-19 | Eastman Kodak Co | Digital camera and time lag setting method |
| JP2013255168A (en) | 2012-06-08 | 2013-12-19 | Toyota Infotechnology Center Co Ltd | Imaging apparatus and imaging method |
| JP2014147017A (en) | 2013-01-30 | 2014-08-14 | Denso Corp | Image capturing system for vehicle |
-
2017
- 2017-07-26 JP JP2017144502A patent/JP7018561B2/en active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002271673A (en) | 2001-03-09 | 2002-09-20 | Fuji Photo Film Co Ltd | Electronic camera and static image recording method |
| JP2006172215A (en) | 2004-12-16 | 2006-06-29 | Fuji Photo Film Co Ltd | Driving support system |
| JP2007104529A (en) | 2005-10-07 | 2007-04-19 | Eastman Kodak Co | Digital camera and time lag setting method |
| JP2013255168A (en) | 2012-06-08 | 2013-12-19 | Toyota Infotechnology Center Co Ltd | Imaging apparatus and imaging method |
| JP2014147017A (en) | 2013-01-30 | 2014-08-14 | Denso Corp | Image capturing system for vehicle |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2019027824A (en) | 2019-02-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111837174B (en) | Head-mounted display, head-mounted display cooperation system and method thereof | |
| US10200585B2 (en) | Imaging device, imaging system, imaging method, and computer-readable recording medium for use in an imaging system including an external communication device | |
| US8848032B2 (en) | Imaging device, imaging method, and computer-readable medium | |
| JP6432130B2 (en) | Display system, display device, photographing device, display method, and program | |
| WO2016016984A1 (en) | Image pickup device and tracking method for subject thereof | |
| WO2015184723A1 (en) | Shooting control method and device, and terminal | |
| JP2013255168A (en) | Imaging apparatus and imaging method | |
| CN106791483B (en) | Image transmission method and device and electronic equipment | |
| JP6096654B2 (en) | Image recording method, electronic device, and computer program | |
| US10447919B2 (en) | Imaging device, external device, imaging system, imaging method, operating method, and computer-readable recording medium | |
| JP2016134129A (en) | Video display system, processing apparatus, video display method, and video display program | |
| CN114205531B (en) | Intelligent photographing method, device and apparatus for vehicle and storage medium | |
| WO2020026901A1 (en) | Information processor and method for controlling same | |
| JP7018561B2 (en) | Display control device, display control system, display control method, and display control program | |
| JP2017194898A (en) | Sightseeing guide system | |
| JP2014112785A (en) | Imaging apparatus | |
| WO2020137398A1 (en) | Operation control device, imaging device, and operation control method | |
| US11070714B2 (en) | Information processing apparatus and information processing method | |
| WO2016013309A1 (en) | Display control device, image capturing apparatus and display control method | |
| JP2012124767A (en) | Imaging apparatus | |
| KR101973300B1 (en) | Vehicular image-display system | |
| JP2007052114A (en) | Photographing device, photographing controller and photographing system | |
| JP7084253B2 (en) | In-vehicle camera setting method and in-vehicle system | |
| JP2022053355A (en) | Imaging apparatus | |
| JP2017063276A (en) | Video display device, video display method and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20180417 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200624 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210524 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210608 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210728 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211116 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211214 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220104 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220112 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 7018561 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| SZ03 | Written request for cancellation of trust registration |
Free format text: JAPANESE INTERMEDIATE CODE: R313Z03 |