TW200926067A - Image display apparatus and image display method - Google Patents

Image display apparatus and image display method Download PDF

Info

Publication number
TW200926067A
TW200926067A TW097139821A TW97139821A TW200926067A TW 200926067 A TW200926067 A TW 200926067A TW 097139821 A TW097139821 A TW 097139821A TW 97139821 A TW97139821 A TW 97139821A TW 200926067 A TW200926067 A TW 200926067A
Authority
TW
Taiwan
Prior art keywords
image
camera
positional relationship
moving
cameras
Prior art date
Application number
TW097139821A
Other languages
English (en)
Inventor
Kazunori Shimazaki
Tomio Kimura
Yutaka Nakashima
Masami Tomioka
Original Assignee
Toyota Jidoshokki Kk
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Jidoshokki Kk filed Critical Toyota Jidoshokki Kk
Publication of TW200926067A publication Critical patent/TW200926067A/zh

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/301Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with other obstacle sensor information, e.g. using RADAR/LIDAR/SONAR sensors for estimating risk of collision
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/806Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for aiding parking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30204Marker
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30264Parking

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Description

200926067 九、發明說明: 【發明所屬之技術領域】 本發明係關於影像顯示裝置及影像顯示方法,尤其係 關於將來自複數台相機之影像進行合成並顯示的裝置及方 法。 【先前技術】 在特開平9 — 1 1 4979號公報,提議一種相機系統,其 利用配置於彼此相異之位置的複數台相機拍攝被抬攝物, 再使用利用這複數台相機所得之複數個影像,產生從和各 相機之位置相異的視點所看到之假想的攝影影像。得到各 相機之攝影影像中之被拍攝物的三維位置座標,並極據此 座標而再構成來自任意之視點所看到的影像》 【發明内容】 [發明所欲解決之課題] 可是,在特開平9— 114979號公報之相機系統,因爲 各自使用位置固定之複數台相機的攝影影像,產生視點相 異之假想的影像,所以例如在將車輛停車於停車空間時, 若想產生易進行駕駛操作之俯瞰影像等的假想影像時,需 要設置位置固定於停車空間側的複數台相機。於是,必須 確保複數台相機的設置場所,而引起複數台相機之設置費 用高漲,並在複數台相機的設置需要費時的問題。 近年來,爲了提高駕駛的安全性、操作性,正使用一 種裝置,其將用以拍攝車輛之後方或側方的相機裝載於車 輛,並例如在倒車時將來自相機之影像顯示於配置於駕駿 200926067 座的監視器。 若應用這種裝載於車輛的相機’僅將1台固定相機設 置於停車空間側,並可產生俯瞰影像等,雖然容易且便宜 地易進行在停車時之駕駛操作,但是因爲隨著車輛的移動 ,車輛所裝載之相機和停車空間側的固定相機之相對位置 關係變化,所以在特開平9 — 1 1 4979號公報之相機系統, 難產生俯瞰影像等。 Α 本發明係鑑於這種以往之問題點而開發者,其目的在 〇 於提供一種影像顯示裝置及影像顯示方法,該裝置即使使 用彼此之相對位置關係變化的複數台相機,亦可顯示來自 既定之視點的影像。 β [解決課題之手段] 本發明之影像顯示裝置,係具備有:複數台相機,係 彼此的相對位置關係變化;相對位置算出部,係算出複數 台相機之彼此的相對位置關係;影像合成部,係根據以相 0 對位置算出部所算出之相對位置關係而將來自複數台相機 的影像彼此進行合成,藉此產生來自既定之視點的影像; 以及監視器,係顯示以影像合成部所產生之影像。 本發明之影像顯示方法,係算出彼此之相對位置關係 變化的複數台相機之彼此的相對位置關係,再根據所算出 之相對位置關係而將來自複數台相機的影像彼此進行合成 ’藉此產生來自既定之視點的影像’並顯示所產生之來自 既定之視點的影像之方法。 [發明之效果] 200926067 若依據本發明,因爲利用相對位置算出部算出複數台 相機之彼此的相對位置關係,再根據此相對位置關係而利 用影像合成部將來自複數台相機的影像彼此進行合成,所 以即使使用彼此之相對位置關係變化的複數台相機,亦可 顯示來自既定之視點的影像。 【實施方式】 以下’根據附加圖式,說明本發明之實施形態。 第1實施形態 第1圖表示本發明之第1實施形態的影像顯示裝置之 構造。固定相機A設置於預定的場所,而且移動相機B設 置於和此固定相機A>目異的場所。移動相機B係以裝載於 車輛等移動體U,並和移動體U —起自由移動的方式構成。 於移動體U,連接相對位置算出部1,其算出移動相機 B對固定相機A之相對位置關係,而影像合成部2係和相 對位置算出部1、固定相機A以及移動相機B連接。此外, 監視器3係和影像合成部2連接。 又,移動體U具有用以得到本身之現在位置及方向等 的位置資訊之未圖示的感測器,此感測器的檢測信號輸入 相對位置算出部1。 其次,參照第2圖的流程圖,說明第1實施形態的作 用。首先,在步驟S1,藉固定相機A進行攝影,接著在步 驟S2,藉移動相機B進行攝影。 然後,在步驟S 3,利用相對位置算出部1算出移動相 機B對固定相機A之相對位置關係。此時,因爲來自用以 200926067 得到移動體u之位置資訊的感測器之檢測信號輸入相對位 置算出部1,所以相對位置算出部1可根據所輸入之檢測 信號而掌握移動體U之現在位置及方向。因此,藉由將此 移動體U的現在位置及方向和設置固定相機A之既定的位 置作比較,相對位置算出部1便算出移動相機B對固定相 機A之相對位置關係。 依此方式算出固定相機A和移動相機B的相對位置關 φ 係後,在步驟S 4,利用影像合成部2,根據此相對位置關 係將固定相機A之影像和移動相機B的影像合成爲一個, 作爲合成影像,產生從上方向下方看的俯瞰影像。 &後,在步驟S5,將俯瞰影像顯示於監視器3。 此外,作爲固定相機A之影像和移動相機B的影像之 合成及俯瞰影像的產生例,列舉特開平3 - 99952號公報。 又,作爲用以得到移動體U之位置資訊的感測器,只 要係可掌握移動體U之移動位置及方向者即可,例如,可 Q 使用車速感測器或移動量感測器和擺動速率感測器、或者 GPS感測器和擺動速率感測器、或者使對移動體U之裝載 位置相異的2個GPS感測器等。 相對位置算出部1、影像合成部2以及監視器3可裝 載於移動體U。在此情況,固定相機A和影像合成部2之 間的連接,可利用有線,亦可利用無線。在以無線連接固 定相機A和影像合成部2之間的情況,固定相機A和影像 合成部2各自需要具備通信手段。 又,亦可相對位置算出部1、影像合成部2以及監視 200926067 器3未裝載於移動體u,而設置於既定的場所。在此情況, 以有線或無線連接用以得到移動體U之位置資訊的感測器 和相對位置算出部1,而且以有線或無線連接固定相機a 及移動相機B和影像合成部2之間。 此外’可僅將相對位置算出部1裝載於移動體U,而 將影像合成部2及監視器3設置於既定的場所,或者將相 對位置算出部1和影像合成部2裝載於移動體U,而僅將 $ 監視器3設置於既定的場所。 第2實施形態 在第3圖表示本發明之第2實施形態的影像顯示裝置 之構造。本第2實施形態係在第1圖所示之第丨、實施形態 的裝置’替代具有用以得到移動體U之位置資訊的感測 器’而預先將作爲固定目標的記號Μ設置於既定的固定位 置,並以根據藉移動相機Β所拍攝之記號μ的影像,由相 對位置算出部1算出固定相機Α和移動相機Β之相對位置 φ 關係的方式構成。 如第4圖所示,相對位置算出部1係由依序和移動相 機B連接的影像處理手段4、位置參數算出手段5以及相 對位置特定手段6所構成。 又,作爲固定目標的記號Μ係固設於對固定相機a具 有既定之位置關係的既定場所,並預先掌握記號Μ對固定 相機Α之既定的位置關係。作爲此記號Μ,例如如第5圖 所示,可使用具有使4個直角等腰三角形彼此抵接之正方 形的外形之圖形。相鄰之直角等腰三角形係以相異的顏色 200926067 分開塗抹,此記號Μ具有由複數個邊的交點所構成之5個 特徵點C卜C5。 若如上述所示預先掌握記號Μ對固定相機Α之位置關 係,則亦可將記號Μ配置於固定相機A的視野外。 在本第2實施形態,雖然亦根據第2圖所示之流程圖 的步驟S1~S5,將俯瞰影像等的合成影像顯示於監視器3’ 但是在步驟S 3之固定相機A和移動相機B的相對位置關 _ 係之算出方法係和第1實施形態相異,根據第6圖之流程 ❿ 圖所示的步驟S6~S8,如以下所示算出相對位置關係。 即,首先,在步驟S6,相對位置算出部1的影像處理 手段4從藉移動相機B所拍攝之'記號Μ的影像抽出記號Μ 的5個特徵點C1~C5,再各自識別並取得在影像上之這些 特徵點C1〜C5的二維座標。 接著,在步驟S 7,根據藉影像處理手段4所識別之特 徵點C1〜C5各自的二維座標,而位置參數算出手段5算出 φ 由以記號Μ爲基準之移動相機B的三維座標(x,y,z)、傾斜 角(俯角)、偏擺角(方向角)、滾動角(旋轉角)之6個參數所 構成的位置參數。 在此,說明藉位置參數算出手段5之位置參數的算出 方法。 首先,將從移動體U上之既定的位置對路面垂直下降 之地面上的點設爲原點0,並設想朝向水平方向設定X軸 及y軸、朝向鉛垂方向設定z軸的路面座標系,而且設想 將X軸和Y軸設定於藉移動相機B所拍攝之影像上的影像 -10- 200926067 座標系。 在影像座標系之|S號Μ的特徵點ci~c5之座標値xm 及Ym(m=l~5),係從在路面座標系之記號M的特徵點C1〜C5 之6個位置參數’即座標値xm、ym以及zm和上述之傾斜 角(俯角)、偏擺角(方向角)、滾動角(旋轉角)的角度參數 Kn(n=l~3)’使用函數F及G,以下式表示。
Xm = F(xm,ym,zm,Kn) + DXm Ym = G(xm,ym,zm,Kn) + DYm 在此’DXm及Dym係使用函數F及G所算出之特徵點ci~C5 的X座標及Y座標和以影像處理手段4所識別之特徵點 C1〜C5的座標値km及Ym的偏差。 即’藉由各自表不5個特徵點Cl~C5的X座標及γ座 標’而對6個位置參數(\111,¥111,2111,反11)產生共1〇個的關係式。 因此’求使偏差 DXm及 Dym的平方和 S=E (0父1112 + 〇71112)變成最小之位置參數“111,7111,2111,1(:11)。即,解 使S變成最小之最佳化問題。周知之最佳化法例如可使用 簡化算法、或最陡下降法、牛頓法、準牛頓法等。 此外,因爲製作比想算出之位置參數 (xm,ym,zm,Kn^ 個數「6」更多的關係式,並決定位置參數,所以可高精度 地得到位置參數(xm,ym,zm,Kn)。 在本第2實施形態,雖然對6個位置參數(xm,ym,zm,Kn) 根據5個特徵點Cl ~C5而製作10個關係式,但是,只要關 係式的個數比想算出之位置參數(xm,ym,zm,Kn)的個數多即 可,若根據最低3個的特徵點來製作6個關係式,可算出 -11- 200926067 6個位置參數(xm,ym,zm,Kn)。 使用依此方式所算出之移動相機B的位置參數,在步 驟S8’相對位置特定手段6特定移動相機B對固定相機A 之相對位置關係。即,根據位置參數算出手段5所算出之 位置參數’而特定移動相機B和記號Μ的相對位置關係, 爲了預先掌握記號Μ對固定相機Α之既定的位置關係,還 特定移動相機B和固定相機A的相對位置關係。 依以上的方式以相對位置算出部1所算出之固定相機 A和移動相機B的相對位置關係被送至影像合成部2,影像 合成部根據此相對位置關係,將固定相機A之影像和移動 相機B的影像合成爲一個,而產生俯瞰影像,並顯示於監 視器3。 此外’在本第2實施形態,因爲算出由以記號μ爲基 準之移動相機Β的三維座標(x,y,z)、傾斜角(俯角)、偏擺角 (方向角)、滾動角(旋轉角)之6個參數所構成的位置參數, 所以即使在配置記號Μ的地板面和移動體U之現在位置的 路面之間存在段差或傾斜,亦可正確特定記號Μ和移動相 機Β的相對位置關係,進而固定相機Α和移動相機β的相 對位置關係,而產生高精度的俯瞰影像。 但’在配置記號Μ的地板面和移動體u之現在位置的 路面之間無傾斜的情況,只要至少算出由以記號Μ爲基準 之移動相機Β的三維座標(x,y,z)和偏擺角(方向角)之4個參 數所構成的位置參數,就可特定記號Μ和移動相機B的相 對位置關係。在此情況,雖然若根據記號Μ之最少2個特 -12- 200926067 徵點的二維座標而產生4個關係式,可求得4個位置參數, 但是較佳爲使用更多之特徵點的二維座標,並利用最小平 方法等更高精度地算出4個位置參數》 此外,在記號Μ和移動體U位於同一平面上,且在配 置記號Μ的地板面和移動體U之現在位置的路面之間亦無 段差及傾斜的情況,只要至少算出由以記號Μ爲基準之移 動相機Β的二維座標(x,y)和偏擺角(方向角)之3個參數所 A 構成的位置參數,就可特定記號Μ和移動相機B的相對位 Θ 置關係。在此情況,雖然若根據記號Μ之最少2個特徵點 的二維座標而產生4個關係式,可求得3個位置參數,但 是較佳亦使用更多之特徵點的二維座標,並利用最小平方 法等更高精度地算出3個位置參數。 第3實施形態 在第7圖表示本發明之第3實施形態的影像顯示裝置 之構造。本第3實施形態係表示將固定相機Α固定於車庫 U 等之停車空間側,而且將移動相機B裝載於往停車空間停 車的車輛,而將第3圖所示之第2實施形態的裝置用於支 援停車的例子。 停車空間側裝置11配設於停車空間S的內部或附近, 車輛側裝置1 2裝載於往停車空間停車的車輛。 停車空間側裝置1 1具有固定相機A,其配置於停車空 間S的內部’並用以拍攝停車空間S的入口附近,而通信 部1 4經由編碼器1 3和固定相機A連接。編碼器1 3係用以 將以固定相機A所拍攝之影像壓縮成適合無線傳送的形式 -13- 200926067 者,通信部14主要係用以向車輛側裝置12傳送以編碼器 13所壓縮的影像資料。控制部15係和固定相機a及通信 部14連接。又,停車空間側裝置u具有固設於停車空間s 之入口附近的地板面之記號Μ。 此外,固定相機Α之內部參數(焦距、失真常數等)和 外部參數(對停車空間S的相對位置、角度等)係預先已知。 一樣地,記號Μ對固定相機a之相對位置亦係已知。 另一方面,車輛側裝置12具有移動相機B,其設置於 車輛的後部,並用以拍攝車輛的後方,在對停車空間S之 後退停車時’利用此移動相機B拍攝停車空間S的記號Μ。 相對位置算出部1係和移動相機Β連接。又,車輛側裝置 1 2具有在和停車空間側裝置1 1的通信部1 4之間進行通信 的通信部16’解碼器17係和此通信部16連接。解碼器17 係用以將以通信部1 6所接收之來自停車空間側裝置1 1的 已壓縮影像資料進行解碼者。 影像合成部2係和解碼器17連接,影像選擇部18係 和影像合成部2及移動相機Β的雙方連接,配置於車輛之 駕駛座的監視器3係和影像選擇部1 8連接。 又’控制部19係和移動相機Β、相對位置算出部1、 通信部16以及影像選擇部18連接。 移動相機Β之內部參數(焦距、失真常數等)和對車輛 的相對位置及角度等係預先已知。 如第4圖所示,車輛側裝置1 2的相對位置算出部1係 由在移動相機Β和影像合成部2之間依序所連接的影像處 -14- 200926067 理手段4、位置參數算出手段5以及相對位置特定手段6 所構成。 其次,參照第8圖的流程圖,說明第3實施形態的作 用。 首先,在步驟S11,在使車輛位於停車空間S的附近 並使記號Μ進入移動相機B之視野內的狀態,利用車輛側 裝置1 2的控制部1 9使移動相機Β進行動作,並拍攝記號 ©Μ。 藉移動相機Β所拍攝之影像輸入相對位置算出部1, 接著在步驟S 1 2,相對位置算出部1根據第6圖所示的流程 圖而算出移動相機Β和固定相機Α的相對位置關#。 根據依此方式以相對位置算出部1所算出之相對位置 關係,控制部1 9算出移動相機B對固定相機A之相對距離 L’在步驟S13’將此相對距離L和既定値Lth比較,在相 對距離L大於既定値Lth時’在步驟S14,使影像選擇部 〇 18選擇移動相機B的影像資料。因而,如第9圖所示,將 以移動相機B所拍攝之車輛後方的影像顯示於駕駛座之監 視器3的畫面上。 另一方面,在移動相機B對固定相機A之相對距離^ 爲既定値Lth以下時,控制部19在步驟si5,從通信部16 向停車空間側裝置丨丨傳送影像資料的要求信號。 在停車空間’側裝置1 1,以通信部1 4從車輛側裝置1 2 收到影像資料的要求信號時,在步驟S丨6,利用控制部j 5 使固定相機A進行動作,而拍攝停車空間s的入口附近。 -15- 200926067 然後’將以固定相機A所拍攝之影像資料壓縮成適合以編 碼器13進行無線傳送的形式後,從通信部M向車輛側裝 置12傳送。 在步驟S 1 7,利用車輛側裝置1 2的通信部1 6從停車空 間側裝置1 1收到影像資料時,此影像資料係以解碼器1 7 解碼後’被送至影像合成部2。 影像合成部2在步驟S18,根據固定相機A和移動相 φ 機B的相對位置關係,而將固定相機A之影像和移動相機 B的影像合成爲一個而產生俯瞰影像。 因爲移動相機B對固定相機a之相對距離L係既定値 Lth以下’控制部19在步驟S19,影像選擇部18選擇影 像合成部2的影像資料。因而,如第1 〇圖所示,將以影像 合成部2所產生之俯瞰影像顯示於駕駛座之監視器3的畫 面上。 此外,關於在步驟S13所使用的既定値Lth,例如設想 0 以壁面等隔開停車空間S之兩側部和內部的車庫,只要將 後退停車中之車輛V的一部分開始進入固定相機A之視野 內時之移動相機B和固定相機A的相對距離設定爲基準即 可 。 若如此地設定既定値Lth,在車輛v尙未進入固定相 機A之視野內時’如第9圖所示,將以移動相機B所拍攝 之車輛後方的影像顯示於監視器3的畫面上,而在車輛v 進入固定相機A之視野內後’如第1〇圖所示,將俯瞰影像 顯示於監視器3的畫面上。因而,可一面看顯示於監視器 -16 - 200926067 3之畫面上的俯瞰影像,一面進行車輛v的 可易於掌握車輛V和停車空間s的相對位置 輛V高精度地停於停車空間S內。 第4實施形態 第1 1圖表示本發明之第4實施形態的影 構造。本第4實施形態係在第3圖所示之第 裝置’替代固定相機A和移動相機B,而配 Q 移動體U1之第1移動相機B1和裝載於第2 第2移動相機B2,而且替代相對位置算出部 位置算出部21連接於移動相機B1及B2,並 的移動相機B1及B2拍攝共同之記號Μ的方 如第1 2圖所示,相對位置算出部21具 相機Β1連接的第1算出部22、和第2移動牛 第2算出部23以及和這些第1算出部22及 連接的第3算出部24,而第3算出部24係連 ❹ 2。 其次,參照第13圖的流程圖,說明第4 用。 首先,在步驟S21,在使記號Μ進入第 之視野內的狀態,利用第1移動相機Β 1拍撢 出部21的第1算出部22接著在步驟S22,從 機Β1所拍攝之記號Μ的影像抽出記號Μ Cl ~C5,再各自識別並取得在影像上之這些 的二維座標後,在步驟S23,根據這些特徵 駕駛操作,而 關係,並使車 像顯示裝置之 2實施形態的 置裝載於第1 移動體U2的 1,而將相對 以利用這雙方 '式構成。 有和第1移動 目機B2連接的 第2算出部23 接影像合成部 實施形態的作 1移動相機Β 1 &。相對位置算 .藉第1移動相 的5個特徵點 特徵點C1~C5 點C卜C 5的二 -17- 200926067 維座標,算出由以記號Μ爲基準之第1移動相機B1的三 維座標(x,y,z)、傾斜角(俯角)、偏擺角(方向角)、滚|^肖(旋 轉角)之6個參數所構成的位置參數。 接著’在步驟S24’在使記號Μ進入第2移動相機B2 之視野內的狀態,利用第2移動相機Β 2拍攝。相對丨立置算; 出部21的第2算出部23接著在步驟S25,從藉第2移動相 機Β2所拍攝之記號Μ的影像抽出記號IV[的5個特徵點 ❾ C1~C5,再各自識別並取得在影像上之這些特徵點ci~C5 的二維座標後,在步驟S26,根據這些特徵點ci~C5的二 維座標,算出由以記號Μ爲基準之第2移動相機B2的三 維i標(x,y,z)、傾斜角(俯角)、偏擺角(方向角)、滾動角(旋 轉角)之6個參數所構成的位置參數。 又,相對位置算出部21的第3算出部24根據以第1 算出部22及第2算出部23所算出之第1移動相機Bi及第 2移動相機B2的位置參數,在步驟S27,特定第1移動相 P 機B 1和第2移動相機B2的相對位置關係。 依以上的方式以相對位置算出部2 1所算出之第1移動 相機B 1和第2移動相機B2的相對位置關係被送至影像合 成部2,影像合成部2根據此相對位置關係,在步驟S28, 將第1移動相機B1之影像和第2移動相機B2的影像合成 爲一個’而產生俯瞰影像,在步驟S29,將此俯瞰影像顯 示於監視器3。 第5實施形態 第14圖表示本發明之第5實施形態的影像顯示裝置之 -18 - 200926067 構造。本第5實施形態係在第11圖所示之第4實施形 裝置’替代以第1移動相機B1和第2移動相機B 2拍 同的記號M’而將複數個記號Ml及M2設置於彼此相 位置’並以第1移動相機B1和第2移動相機B2各自 相異的記號之方式構成。 記號Μ1和記號M2之相對位置關係係預先掌握 如’可使相對位置算出部2 1預先記憶記號Μ 1和記§ 之相對位置關。或者,亦能以預先利用條碼等之手段 自的位置資訊記錄於記號Μ 1及M2,並從利用各相機 攝之影像識別其位置資訊的方式構成。或者,亦可從 於各記號之附近的無線發射機發送記號Ml及M2各自 置資訊’並以第1移動體U1及第2移動體U2接收後 其位置資訊。 在利用第1移動相機B 1拍攝記號Μ1,利用第2 相機Β2拍攝記號M2的情況,相對位置算出部21的 算出部22根據利用第1移動相機Β1所拍攝之記號f 影像,而算出以記號Ml爲基準之第1移動相機B1的 參數,而相對位置算出部21的第2算出部23根據利月 移動相機B 2所拍攝之記號Μ 2的影像,而算出以記号 爲基準之第2移動相機Β2的位置參數。 在此,因爲預先掌握記號Ml和記號M2之相對 關,所以相對位置算出部21的第3算出部24根據 算出部22及第2算出部23各自所算出之位置參數和 Ml及M2間的相對位置關係,可特定第1移動相機 態的 攝共 異的 拍攝 。例 虎M2 將各 所拍 配置 的位 識別 移動 ,第1 4 1的 位置 第2 虎M2 位置 (第1 I記號 B1和 -19- 200926067 第2移動相機B2的相對位置關係。 結果,影像合成部2可根據此相對位置關係,將 移動相機B1之影像和第2移動相機B2的影像合成 個,而產生俯瞰影像,並將此俯瞰影像顯示於監視器 此外,未特定以各移動相機B1、B2所拍攝之記號 號Ml及M2中的任一方的情況,或同時拍攝雙方之 Μ 1及M2的情況,爲了判別所拍攝之記號係記號μ 1石 @ 中的任一影像,較佳爲使雙方之記號Ml及M2中的形 色彩等相異。 其他的實施形態 在上述之各實施形態,利用影像合成部2所產生 成影像未限定爲俯瞰影像,影像合成部2可產生來自 相機的視點相異之任意的假想之視點P的影像。又, 必限定爲來自和各相機的視點相異之假想的視點P 像,影像合成部2亦可產生來自複數台相機中之任一 U 機的視點之影像。例如,在上述的第3實施形態,影 成部2藉由將停車空間側之固定相機A的影像轉換成 車載之移動相機B的視點之影像並和移動相機B的影 成,而可得到一種合成影像,其亦透視並追加如第9 示光是來自車載之移動相機B的影像時被壁遮住而變 角之停車空間S內的區域。或者,可得到一種合成影 其追加光是來自車載之移動相機B的影像時變成攝影 外而變成死角的區域。 在上述之各實施形態,雖然將來自1台固定相機 第1 爲一 3 » 係記 記號 t M2 狀、 之合 和各 亦未 之影 台相 像合 來自 像合 圖所 成死 像, 範圍 A和 -20- 200926067 1台移動相機B,或2台移動相機B1及B2的影像進行合成, 但是亦可將來自彼此的相對位置關係變化之3台以上的相 機之影像合成,而產生來自任意之假想的視點P之影像。 又’移動體U、Ul、U2未限定爲車輛等之移動裝置, 例如亦可係帶著相機行走的人。 雖然在第2~第5實施形態所使用的記號具有使4個直 角等腰三角形彼此抵接之正方形的外形,但是未限定如 此’可使用各種的記號。但,較佳具備相對於存在於自然 界之形狀易判別之特異的形狀、色彩等,利用在影像處理 手段4的影像識別,易認知其存在,又易識別內部所含之 特徵點者。 Λ 又’記號爲了可根據所識別之特徵點的二維座標而高 精度地算出相機和記號的相對位置關係,而具有充分的尺 寸’且設置於從相機易認知的場所較佳。具體而言,可設 置於配置相機之場所的周邊之地板面、壁面、天花板面等。 【圖式簡單說明】 第1圖係表示本發明之第1實施形態的影像顯示裝置 之構造的方塊圖。 第2圖係表示第1實施形態之作用的流程圖。 第3圖係表示第2實施形態之影像顯示裝置的構造之 方塊圖。 第4圖係表示第2實施形態之相對位置算出部的構造 之方塊圖。 第5圖係表示在第2實施形態所使用之記號的圖。 -21- 200926067 第6圖係表示算出在第2實施形態之移動相機和固定 相機的相對位置關係之步驟的作用之流程圖。 第7圖係表示第3實施形態之影像顯示裝置的構造之 方塊圖。 第8圖係表示第3實施形態之作用的流程圖。 第9圖係表示在第3實施形態之監視器的畫面之圖。 第10圖係表示在第3實施形態之監視器的畫面之圖。 第11圖係表示第4實施形態之影像顯示裝置的構造之 方塊圖。 第1 2圖係表示第4實施形態之相對位置算出部的構^ 之方塊圖。 ° 第1 3圖係表示第4實施形態之作用的流程圖。 第14圖係表示第5實施形態之影像顯示裝置的構造& 方塊圖。 【主要元件符號說明】 1 相 對 位 置 算 出 部 2 影 像 合 成 部 3 監 視 器 4 影 像 處 理 手 段 5 位 置 參 數 算 出 手 段 6 相 對 位 置 特 定 手 段 11 停 車 空 間 側 裝 置 、 12 車 輛 側 裝 置 13 編 碼 器 ❹ -22- 200926067
14 通信部 15 控制部 16 通信部 17 解碼器 18 影像選擇部 19 控制部 A 固定相機 B 移動相機 U 移動體 P 視點
-23-

Claims (1)

  1. 200926067 十、申請專利範圍: 1. 一種影像顯示裝置,其特徵爲具備有: 複數台相機,係彼此的相對位置關係變化; 相對位置算出部,係算出該複數台相機之彼此的相 對位置關係; 影像合成部,係根據以該相對位置算出部所算出之 相對位置關係而將來自該複數台相機的影像彼此進行合 0 成’藉此產生來自既定之視點的影像;以及 監視器,係顯示以該影像合成部所產生之影像。 2. 如申請專利範圍第1項之影像顯示裝置,其中該複數台 相機係包含有至少一台移動相機和至少一台固定相機。 3. 如申請專利範圍第1項之影像顯示裝置,其中該複數台 相機係各自由移動相機所構成。 4. 如申請專利範圍第2或3項之影像顯示裝置,其中 具有至少一個特徵點的固定目標設置於預定之固定 ❹ ί立® ; 該相對位置算出部係根據藉該移動相機所拍攝之該 固定目標的影像’而算出以該固定目標爲基準之該移動 相機的位置參數’再根據所算出之位置參數’而算出該 移動相機對其他的相機之相對位置關係。 5. 如申請專利範圍第4項之影像顯示裝置’其中該固定目 標係由既定形狀的記號所構成。 6. 如申請專利範圔第項中任一項之影像顯示裝置,其 中該影像合成部係產生來自和該複數台相機的視點相異 -24 - 200926067 之假想的視點之影像’作爲來自既定之視點的影像。 7. 如申請專利範圍第6項之影像顯示裝置,其中該影像合 成部係產生俯瞰影像,作爲來自既定之視點的影像。 8. 如申請專利範圍第項中任一項之影像顯示裝置,其 中該影像合成部係從該複數台相機中之任一台相機的視 點看而且對死角區域追加影像,而產生影像,作爲來自 既定之視點的影像。 9. 一種影像顯示方法,其特徵爲: 算出彼此之相對位置關係變化的複數台相機之彼此 的相對位置關係; 根據所算出之相對位置關係而將來自該複數台相機 的影像彼此進行合成,藉此產生來自既定之視點的影像 » 顯示所產生之來自既定之視點的影像。 -25-
TW097139821A 2007-10-19 2008-10-17 Image display apparatus and image display method TW200926067A (en)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007272654A JP2009101718A (ja) 2007-10-19 2007-10-19 映像表示装置及び映像表示方法

Publications (1)

Publication Number Publication Date
TW200926067A true TW200926067A (en) 2009-06-16

Family

ID=40567297

Family Applications (1)

Application Number Title Priority Date Filing Date
TW097139821A TW200926067A (en) 2007-10-19 2008-10-17 Image display apparatus and image display method

Country Status (7)

Country Link
US (1) US20100201810A1 (zh)
EP (1) EP2200312A4 (zh)
JP (1) JP2009101718A (zh)
KR (1) KR20100053694A (zh)
CN (1) CN101828394A (zh)
TW (1) TW200926067A (zh)
WO (1) WO2009051028A1 (zh)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011086111A (ja) * 2009-10-15 2011-04-28 Mitsubishi Electric Corp 撮像装置校正方法及び画像合成装置
JP2011237532A (ja) * 2010-05-07 2011-11-24 Nec Casio Mobile Communications Ltd 端末装置及び端末通信システム並びにプログラム
CN102469291A (zh) * 2010-11-05 2012-05-23 屈世虎 视频通话***和方法
KR101214471B1 (ko) 2011-04-11 2012-12-24 주식회사 이미지넥스트 감시 영상의 3차원 정합 방법 및 시스템
JP5725953B2 (ja) * 2011-04-13 2015-05-27 キヤノン株式会社 撮像装置及びその制御方法、並びに情報処理装置
JP5957838B2 (ja) * 2011-09-30 2016-07-27 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム
FR2985350B1 (fr) * 2012-01-04 2014-01-24 Peugeot Citroen Automobiles Sa Procede de traitement d'image d'une camera embarquee sur un vehicule et dispositif de traitement correspondant
CN103512557B (zh) * 2012-06-29 2016-12-21 联想(北京)有限公司 电子设备间相对位置确定方法及电子设备
CA2854669C (en) * 2013-06-18 2021-08-31 Dreamwell, Ltd. Display device for a plunger matrix mattress
CN107406072B (zh) 2015-03-03 2019-12-17 沃尔沃卡车集团 车辆辅助***
WO2016158855A1 (ja) * 2015-03-31 2016-10-06 株式会社ニコン 撮像システム、撮像装置、撮像方法、及び撮像プログラム
JP6730177B2 (ja) * 2016-12-28 2020-07-29 株式会社デンソーテン 画像生成装置および画像生成方法
CN109974667B (zh) * 2017-12-27 2021-07-23 宁波方太厨具有限公司 一种室内人体定位方法
US11394949B2 (en) * 2018-06-12 2022-07-19 Disney Enterprises, Inc. See-through operator awareness tool using synthesized viewpoints
US20200226787A1 (en) * 2019-01-14 2020-07-16 Sony Corporation Information processing apparatus, information processing method, and program
US11263780B2 (en) * 2019-01-14 2022-03-01 Sony Group Corporation Apparatus, method, and program with verification of detected position information using additional physical characteristic points
EP3982325A4 (en) * 2019-06-06 2022-08-03 NEC Corporation TREATMENT SYSTEM, TREATMENT PROCEDURE AND PROGRAM
JP7515265B2 (ja) * 2020-02-06 2024-07-12 キヤノン株式会社 撮像装置、画像処理装置の制御方法、撮像システム

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0399952A (ja) 1989-09-12 1991-04-25 Nissan Motor Co Ltd 車両用周囲状況モニタ
JP3328478B2 (ja) 1995-10-18 2002-09-24 日本電信電話株式会社 カメラシステム
JP2002135765A (ja) * 1998-07-31 2002-05-10 Matsushita Electric Ind Co Ltd カメラキャリブレーション指示装置及びカメラキャリブレーション装置
JP3286306B2 (ja) * 1998-07-31 2002-05-27 松下電器産業株式会社 画像生成装置、画像生成方法
EP1038734B1 (en) * 1998-10-08 2019-05-15 Panasonic Intellectual Property Corporation of America Driving assisting device and recording medium
DE10035223A1 (de) * 2000-07-20 2002-01-31 Daimler Chrysler Ag Vorrichtung und Verfahren zur Überwachung der Umgebung eines Objekts
JP2002054320A (ja) * 2000-08-10 2002-02-20 Yazaki Corp 駐車補助装置
JP4643860B2 (ja) * 2001-06-12 2011-03-02 クラリオン株式会社 車両用視覚支援装置及び支援方法
JP3972722B2 (ja) * 2002-04-24 2007-09-05 株式会社エクォス・リサーチ 車載画像処理装置
JP2004064696A (ja) * 2002-07-31 2004-02-26 Nissan Motor Co Ltd 駐車支援装置
JP2004351977A (ja) * 2003-05-27 2004-12-16 Matsushita Electric Ind Co Ltd 車外映像表示装置
JP2006341641A (ja) * 2005-06-07 2006-12-21 Nissan Motor Co Ltd 映像表示装置及び映像表示方法

Also Published As

Publication number Publication date
EP2200312A4 (en) 2010-10-20
JP2009101718A (ja) 2009-05-14
WO2009051028A1 (ja) 2009-04-23
CN101828394A (zh) 2010-09-08
KR20100053694A (ko) 2010-05-20
EP2200312A1 (en) 2010-06-23
US20100201810A1 (en) 2010-08-12

Similar Documents

Publication Publication Date Title
TW200926067A (en) Image display apparatus and image display method
CN101404122B (zh) 驾驶支援装置以及驾驶支援方法
JP6091586B1 (ja) 車両用画像処理装置および車両用画像処理システム
JP4642723B2 (ja) 画像生成装置および画像生成方法
JP4583883B2 (ja) 車両用周囲状況表示装置
TW200910278A (en) Parking assistance apparatus, vehicle-side apparatus of parking assistance apparatus, parking assist method, and parking assist program
WO2014034364A1 (ja) 画像生成装置、画像表示システム、パラメータ取得装置、画像生成方法、およびパラメータ取得方法
JP2008022267A (ja) 運転支援方法及び運転支援装置
US20160005316A1 (en) Around view system and operating method thereof
WO2011090163A1 (ja) パラメータ決定装置、パラメータ決定システム、パラメータ決定方法、及び記録媒体
JP2017517174A (ja) 車両周辺イメージ生成装置および方法
KR20120077309A (ko) 차량의 후방 영상 표시 장치 및 방법
KR20140100525A (ko) 비디오 영화를 촬영하기 위한 시스템
JP6789767B2 (ja) 監視システム
KR20120066194A (ko) 휴대 단말을 이용한 차량 주변 영상 제공 시스템 및 그 방법
JP2012105090A (ja) 駐車支援装置
WO2016102304A1 (en) Method for presenting an image overlay element in an image with 3d information, driver assistance system and motor vehicle
KR101504335B1 (ko) 어라운드뷰 제공 장치, 방법 및 차량
KR101745988B1 (ko) 차량 하부 촬영시스템
JP5618139B2 (ja) 駐車支援装置
KR101664297B1 (ko) 차량용 어라운드 뷰 모니터링 시스템 및 그 방법
TW201205344A (en) Adjusting system and method for screen, advertisement board including the same
KR102473404B1 (ko) 탑뷰 제공 장치
JP2005286938A (ja) 車外情報表示装置
KR101709009B1 (ko) 어라운드 뷰 왜곡 보정 시스템 및 방법