JP7076896B2 - 表示制御装置、表示制御方法及びカメラモニタリングシステム - Google Patents
表示制御装置、表示制御方法及びカメラモニタリングシステム Download PDFInfo
- Publication number
- JP7076896B2 JP7076896B2 JP2018018434A JP2018018434A JP7076896B2 JP 7076896 B2 JP7076896 B2 JP 7076896B2 JP 2018018434 A JP2018018434 A JP 2018018434A JP 2018018434 A JP2018018434 A JP 2018018434A JP 7076896 B2 JP7076896 B2 JP 7076896B2
- Authority
- JP
- Japan
- Prior art keywords
- image data
- image
- display
- coordinates
- image pickup
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
- Closed-Circuit Television Systems (AREA)
Description
車両のサイドミラーの取り付け位置に設置される撮像装置に接続される表示制御装置であって、
前記撮像装置により撮影される画像データの各画素の座標を変換する変換部と、
前記変換部により座標が変換されることで生成される表示画像データを表示部に出力する出力部と、を有し、
前記変換部は、
前記表示部において表示される前記表示画像データが、光学部材を介して虚像として視認される、前記サイドミラーの鏡面部分に相当する位置で前記撮像装置が撮影した場合の画像データの各画素の座標と、前記撮像装置が設置される前記車両のサイドミラーの取り付け位置で前記撮像装置が撮影した場合の画像データの各画素の座標との対応関係に基づいて、前記車両のサイドミラーの取り付け位置で前記撮像装置により撮影される画像データの各画素の座標を変換することを特徴とする。
<カメラモニタリングシステムのシステム構成>
はじめに、車両に搭載されるカメラモニタリングシステムのシステム構成について説明する。図1は、第1の実施形態におけるカメラモニタリングシステムのシステム構成の一例を示す図である。図1に示すように、カメラモニタリングシステム100は、撮像装置110、111と、表示制御装置120と、表示装置130、131と、光学部材140、141とを有する。なお、本実施形態において、カメラモニタリングシステム100は、車両のイグニッションスイッチがON状態になることで起動し、OFF状態になることで停止するものとする。ただし、カメラモニタリングシステム100は、車両の運転者の指示に基づいて起動、停止するように構成してもよい。
次に、撮像装置110、111の設置例(撮像装置110、111が設置される位置、撮像装置110、111の撮影範囲及び撮影方向)について説明する。図2は、撮像装置が設置される位置、撮像装置の撮影範囲及び撮影方向を示す図である。
次に、表示装置130、131に表示された左側表示画像データまたは右側表示画像データを、虚像として車両200の運転者に視認させるための光学部材140、141の機能について説明する。なお、光学部材140の機能と光学部材141の機能とは基本的に同じであるため、ここでは、光学部材141の機能について説明する。
次に、撮像装置110、111が設置される位置と、車両200の運転者300により視認される虚像の位置との位置関係について説明する。図4は、撮像装置が設置される位置と、運転者により視認される虚像の位置との位置関係を示す図である。
次に、視点変換部121が左側画像データ及び右側画像データを、左側表示画像データ及び右側表示画像データに変換する際に参照する、変換情報格納部122の変換情報について説明する。図5は、変換情報の一例を示す図である。
・車両200の後方を、視点位置="座標PLC"、視点方向="レンズパラメータDLC"で、撮像装置110が撮影した場合の、車両200の後方にある被写体Aの画像データ上での座標が、"xL1、yL1"である。
・車両200の後方を、視点位置="座標PLI"、視点方向="レンズパラメータDLI"で、撮像装置110が撮影した場合の、車両200の後方にある被写体Aの画像データ上での座標が、"XL1、YL1"である。
・車両200の後方を、視点位置="座標PRC"、視点方向="レンズパラメータDRC"で、撮像装置111が撮影した場合の、車両200の後方にある被写体Bの画像データ上での座標が、"xR1、yR1"である。
・車両200の後方を、視点位置="座標PRI"、視点方向="レンズパラメータDRI"で、撮像装置111が撮影した場合の、車両200の後方にある被写体Bの画像データ上での座標が、"XR1、YR1"である。
次に、表示制御装置120のハードウェア構成について説明する。図6は、表示制御装置のハードウェア構成の一例を示す図である。図6に示すように、表示制御装置120は、CPU(Central Processing Unit)601、ROM(Read Only Memory)602、RAM(Random Access Memory)603を有する。また、表示制御装置120は、GPU(Graphic Processing Unit)604、I/F(Interface)装置605を有する。なお、表示制御装置120の各部は、バス606を介して相互に接続されている。
次に、表示制御装置120の機能構成について説明する。図7は、第1の実施形態における表示制御装置の視点変換部の機能構成の一例を示す図である。上述したとおり、表示制御装置120には、視点変換プログラムがインストールされており、カメラモニタリングシステム100が起動することで、表示制御装置120は、当該視点変換プログラムを実行する。これにより、表示制御装置120は、左側画像データ取得部701、右側画像データ取得部711、左側画像データ変換部702、右側画像データ変換部712、左側表示画像データ生成部703、右側表示画像データ生成部713として機能する。
次に、表示制御装置120の視点変換部121による視点変換処理の流れについて説明する。図8は、第1の実施形態における表示制御装置の視点変換部による視点変換処理の流れを示すフローチャートである。
以上の説明から明らかなように、第1の実施形態における表示制御装置は、
・撮像装置により撮影された画像データの各画素の座標を変換し、表示装置(表示部)に表示する。
・その際、表示装置により表示される表示画像データが、光学部材を介して虚像として視認される位置と、撮像装置が設置される位置との位置関係(視点位置、視点方向)に基づいて、画像データの各画素の座標を変換する。
上記第1の実施形態では、虚像の視点方向が固定であるとして説明した。これに対して、第2の実施形態では、虚像の視点方向を、車両の運転者の指示に基づいて可変とする場合について説明する。一般的な車両におけるサイドミラーの鏡面部分も、車両の運転者の指示に基づいて、視点方向を変更させることができるからである。以下、第2の実施形態について、上記第1の実施形態との相違点を中心に説明する。
図9は、第2の実施形態における表示制御装置の視点変換部の機能構成の一例を示す図である。図7との相違点は、左側指示受付部901、左側画像データ変換部902、右側指示受付部911、右側画像データ変換部912を有する点である。
次に、表示制御装置120の視点変換部121による視点変換処理の流れについて説明する。図10は、第2の実施形態における表示制御装置の視点変換部による視点変換処理の流れを示すフローチャートである。
以上の説明から明らかなように、第2の実施形態における表示制御装置は、
・表示装置により表示される表示画像データが、光学部材を介して虚像として視認される位置と、撮像装置が設置される位置との位置関係(視点位置、視点方向)に基づいて、画像データの各画素の座標を変換する。
・その際、車両の運転者の指示に応じた位置関係(視点方向)に基づいて、画像データの各画素の座標を変換する。
上記第1及び第2の実施形態では、2台の撮像装置が車両200に設置されたカメラモニタリングシステムについて説明した。しかしながら、カメラモニタリングシステムのシステム構成はこれに限定されない。以下、図11及び図12を用いて、他のカメラモニタリングシステムのシステム構成について説明する。
上記第1乃至第3の実施形態では、運転者により視認される虚像の位置と、撮像装置が設置される位置との違いを吸収するために、画像データの各画素の座標を変換するものとして説明した。しかしながら、運転者により視認される虚像の位置と、撮像装置が設置される位置との違いを吸収するための方法はこれに限定されず、運転者により視認される虚像の位置と、撮像装置が設置される位置とが一致するように、光学部材を設計してもよい。これにより、画像データの各画素の座標を変換する必要がなくなる。
110、111 :撮像装置
120 :表示制御装置
121 :視点変換部
130、131 :表示装置
140、141 :光学部材
200 :車両
300 :運転者
301、302 :凹面鏡
400、401 :虚像
510、520 :変換情報
701 :左側画像データ取得部
702 :左側画像データ変換部
703 :左側表示画像データ生成部
711 :右側画像データ取得部
712 :右側画像データ変換部
713 :右側表示画像データ生成部
901 :左側指示受付部
902 :左側画像データ変換部
911 :右側指示受付部
912 :右側画像データ変換部
Claims (5)
- 車両のサイドミラーの取り付け位置に設置される撮像装置に接続される表示制御装置であって、
前記撮像装置により撮影される画像データの各画素の座標を変換する変換部と、
前記変換部により座標が変換されることで生成される表示画像データを表示部に出力する出力部と、を有し、
前記変換部は、
前記表示部において表示される前記表示画像データが、光学部材を介して虚像として視認される、前記サイドミラーの鏡面部分に相当する位置で前記撮像装置が撮影した場合の画像データの各画素の座標と、前記撮像装置が設置される前記車両のサイドミラーの取り付け位置で前記撮像装置が撮影した場合の画像データの各画素の座標との対応関係に基づいて、前記車両のサイドミラーの取り付け位置で前記撮像装置により撮影される画像データの各画素の座標を変換することを特徴とする表示制御装置。 - 前記対応関係を示す変換情報を格納する格納部を更に有し、
前記変換部は、前記格納部より前記変換情報を読み込み、前記車両のサイドミラーの取り付け位置で前記撮像装置により撮影される画像データの各画素の座標を変換することを特徴とする請求項1に記載の表示制御装置。 - 前記対応関係を変更する指示を受け付ける受付部を更に有し、
前記変換部は、前記受付部が受け付けた指示に応じた前記変換情報を、前記格納部より読み込むことを特徴とする請求項2に記載の表示制御装置。 - 車両のサイドミラーの取り付け位置に設置される撮像装置に接続される表示制御装置の表示制御方法であって、
前記撮像装置により撮影される画像データの各画素の座標を変換する変換工程と、
前記変換工程において座標が変換されることで生成される表示画像データを表示部に出力する出力工程と、を有し、
前記変換工程は、
前記表示部において表示される前記表示画像データが、光学部材を介して虚像として視認される、前記サイドミラーの鏡面部分に相当する位置で前記撮像装置が撮影した場合の画像データの各画素の座標と、前記撮像装置が設置される前記車両のサイドミラーの取り付け位置で前記撮像装置が撮影した場合の画像データの各画素の座標との対応関係に基づいて、前記車両のサイドミラーの取り付け位置で前記撮像装置により撮影される画像データの各画素の座標を変換することを特徴とする表示制御方法。 - 車両のサイドミラーの取り付け位置に設置され、前記車両の後方を撮影する撮像装置と、
前記撮像装置に接続される表示制御装置と、
前記表示制御装置より出力される表示画像データを表示する表示装置と、
前記表示装置の出射光を反射する光学部材と、を有するカメラモニタリングシステムであって、
前記表示制御装置は、
前記撮像装置により撮影される画像データの各画素の座標を変換する変換部と、
前記変換部により座標が変換されることで生成される表示画像データを前記表示装置に出力する出力部と、を有し、
前記変換部は、
前記表示装置において表示される前記表示画像データが、前記光学部材を介して虚像として視認される、前記サイドミラーの鏡面部分に相当する位置で前記撮像装置が撮影した場合の画像データの各画素の座標と、前記撮像装置が設置される前記車両のサイドミラーの取り付け位置で前記撮像装置が撮影した場合の画像データの各画素の座標との対応関係に基づいて、前記車両のサイドミラーの取り付け位置で前記撮像装置により撮影される画像データの各画素の座標を変換することを特徴とするカメラモニタリングシステム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018018434A JP7076896B2 (ja) | 2018-02-05 | 2018-02-05 | 表示制御装置、表示制御方法及びカメラモニタリングシステム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018018434A JP7076896B2 (ja) | 2018-02-05 | 2018-02-05 | 表示制御装置、表示制御方法及びカメラモニタリングシステム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019135816A JP2019135816A (ja) | 2019-08-15 |
JP7076896B2 true JP7076896B2 (ja) | 2022-05-30 |
Family
ID=67623717
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018018434A Active JP7076896B2 (ja) | 2018-02-05 | 2018-02-05 | 表示制御装置、表示制御方法及びカメラモニタリングシステム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7076896B2 (ja) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006248384A (ja) | 2005-03-10 | 2006-09-21 | Clarion Co Ltd | 車両周囲監視装置 |
JP2008141574A (ja) | 2006-12-04 | 2008-06-19 | Denso Corp | 車両用視覚補助装置 |
JP2017188744A (ja) | 2016-04-04 | 2017-10-12 | 東芝アルパイン・オートモティブテクノロジー株式会社 | 車両用周辺監視装置 |
JP2018055075A (ja) | 2016-09-26 | 2018-04-05 | 有限会社石川光学造形研究所 | 自動車用電子ミラー |
JP2018058521A (ja) | 2016-10-06 | 2018-04-12 | コニカミノルタ株式会社 | 仮想表示ミラー装置 |
-
2018
- 2018-02-05 JP JP2018018434A patent/JP7076896B2/ja active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006248384A (ja) | 2005-03-10 | 2006-09-21 | Clarion Co Ltd | 車両周囲監視装置 |
JP2008141574A (ja) | 2006-12-04 | 2008-06-19 | Denso Corp | 車両用視覚補助装置 |
JP2017188744A (ja) | 2016-04-04 | 2017-10-12 | 東芝アルパイン・オートモティブテクノロジー株式会社 | 車両用周辺監視装置 |
JP2018055075A (ja) | 2016-09-26 | 2018-04-05 | 有限会社石川光学造形研究所 | 自動車用電子ミラー |
JP2018058521A (ja) | 2016-10-06 | 2018-04-12 | コニカミノルタ株式会社 | 仮想表示ミラー装置 |
Also Published As
Publication number | Publication date |
---|---|
JP2019135816A (ja) | 2019-08-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110651236B (zh) | 经由眼睛跟踪扩大有效眼动范围的近眼显示器 | |
JP7054293B2 (ja) | リアビュー可視化のためのリアスティッチされたビューパノラマ | |
JP5194679B2 (ja) | 車両用周辺監視装置および映像表示方法 | |
JP4257356B2 (ja) | 画像生成装置および画像生成方法 | |
JP5120880B2 (ja) | 画像処理装置及び画像処理方法 | |
JP5321711B2 (ja) | 車両用周辺監視装置および映像表示方法 | |
WO2009116327A1 (ja) | 画像処理装置及び方法、運転支援システム、車両 | |
JP4975592B2 (ja) | 撮像装置 | |
CN110308557B (zh) | 显示***、电子镜***、移动体以及显示方法 | |
WO2015194501A1 (ja) | 映像合成システムとそのための映像合成装置及び映像合成方法 | |
JP6548900B2 (ja) | 画像生成装置、画像生成方法及びプログラム | |
JP7052632B2 (ja) | 車両用周辺表示装置 | |
JP2011004201A (ja) | 周辺表示装置 | |
EP3633598B1 (en) | Image processing device, image processing method, and program | |
JP7189513B2 (ja) | ヘッドアップディスプレイ装置 | |
JP6550690B2 (ja) | 表示装置、車両 | |
JP7076896B2 (ja) | 表示制御装置、表示制御方法及びカメラモニタリングシステム | |
JP6583486B2 (ja) | 情報処理方法、情報処理プログラムおよび情報処理装置 | |
JP2009123131A (ja) | 撮像装置 | |
CN111572450A (zh) | 图像处理装置、车载照相机***和图像处理方法 | |
JP2009060301A (ja) | 画像処理方法と該画像処理方法を用いた撮像装置 | |
KR20200058761A (ko) | 영상 중첩 인식을 통한 사물 인식 강화 시스템 | |
JP5202448B2 (ja) | 画像処理システム及び方法 | |
JP5049304B2 (ja) | 車両の周辺を画像表示するための装置 | |
JP2009006968A (ja) | 車両用表示装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200827 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210727 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210810 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210903 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20220208 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220315 |
|
C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20220315 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20220331 |
|
C21 | Notice of transfer of a case for reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C21 Effective date: 20220412 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220517 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220517 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7076896 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |