CZ306641B6 - Způsob použití systému pro zrychlení vizuální zpětné vazby u kamerového manipulátoru a systém pro zrychlení vizuální zpětné vazby u kamerového manipulátoru - Google Patents
Způsob použití systému pro zrychlení vizuální zpětné vazby u kamerového manipulátoru a systém pro zrychlení vizuální zpětné vazby u kamerového manipulátoru Download PDFInfo
- Publication number
- CZ306641B6 CZ306641B6 CZ2015-879A CZ2015879A CZ306641B6 CZ 306641 B6 CZ306641 B6 CZ 306641B6 CZ 2015879 A CZ2015879 A CZ 2015879A CZ 306641 B6 CZ306641 B6 CZ 306641B6
- Authority
- CZ
- Czechia
- Prior art keywords
- camera
- image
- manipulator
- visual feedback
- camera manipulator
- Prior art date
Links
Landscapes
- Manipulator (AREA)
Abstract
Metoda a systém pro zrychlení vizuální zpětné vazby u kamerového manipulátoru jsou určeny pro minimalizaci zpoždění mezi vydáním signálu o natočení kamerového manipulátoru a natočením výřezu obrazu o požadovaný úhel. Toho je dosaženo pomocí výřezu obrazu z kompenzačního obrazu a kompenzační oblastí. Systém pro zrychlení vizuální zpětné vazby u kamerového manipulátoru (3) pro použití způsobu zahrnuje řídicí systém (2) spojený s kamerou (4) umístěnou na kamerovém manipulátoru (3), zobrazovací jednotku (5) pro zobrazení určitého výřezu obrazu a ovladač (1) kamerového manipulátoru se snímačem pohybu, přičemž řídicí systém (2) je uzpůsoben pro zpracování signálu ze snímače pohybu a zpracování výstupu z kamery (4), vyznačující se tím, že kamera (4) je uzpůsobena pro snímání kompenzačního obrazu, přičemž zorné pole kompenzačního obrazu je o alespoň 5.degree. větší než zorné pole výřezu obrazu.
Description
Způsob použití systému pro zrychlení vizuální zpětné vazby u kamerového manipulátoru a systém pro zrychlení vizuální zpětné vazby u kamerového manipulátoru
Oblast techniky
Vynález se týká systému pro zrychlení vizuální zpětné vazby u kamerového manipulátoru, použitého například při přenosu obrazu z kamery umístěné na kamerovém manipulátoru do vzdálené helmy pro virtuální realitu.
Dosavadní stav techniky
V současném stavu techniky jsou známy systémy a metody, ve kterých je mechanický kamerový manipulátor ovládán operátorem, především pak pohybem hlavy pomocí displeje rozšířené reality a snímače, jak je popsáno například v patentu US 7 714 895 B2, kde popisují systém, kdy je kamera připevněna na robotické rameno a podle pohybů člověka, který vnímá scénu okolo robotického ramene prostřednictvím displeje pro virtuální realitu, který má nasazený na hlavě, pohybuje robotickým ramenem.
Výše zmíněné systémy mají problém s časovým zpožděním natočení kamery a tedy i zpožděním posunu obrazu z kamery. To je způsobeno především tím, že například natočení hlavy musí být nejdříve změřeno na snímači, následně bývá obvykle zpracováno a zasláno do mechanického kamerového manipulátoru, zde jsou přes zpětnovazební regulátory aktivovány aktuátory, které konečnou rychlostí začnou otáčet kamerovou hlavicí. Po ustavení hlavice do správné polohy je teprve nasnímán obraz ze správného natočení kamerového manipulátoru a odeslán konečnou rychlostí (obvykle po zpracování) směrem k operátorovi, kde je mu zobrazen. Tím vznikne nesoulad mezi zobrazeným a požadovaným obrazem.
V současnosti jsou známy způsoby softwarové stabilizace obrazu sloužící ke stabilizaci obrazu například rychlého pohybu nebo vibrací, jak je popsáno například v patentu US 8 891 625 B2, kdy popisují způsob stabilizace obrazu vibrujících snímků, přičemž vyhodnocují, zda obraz vibruje a následně vyhodnocují o kolik stupňů a podle toho kompenzují tuto vibraci zobrazením pouze části obrazu, kdy okraj slouží jako kompenzační oblast.
Podstata vynálezu
Výše uvedené nedostatky dosud známých řešení odstraňuje systém pro zrychlení vizuální zpětné vazby kamerového manipulátoru. Systém zahrnuje řídicí systém spojený s kamerou umístěnou na kamerovém manipulátoru, zobrazovací jednotku pro zobrazení určitého výřezu obrazu a ovladač kamerového manipulátoru se snímačem pohybu. Řídicí systém je uzpůsoben pro zpracování signálu ze snímače pohybu a zpracování výstupu z kamery. Podstata výhody spočívá v tom, že kamera je uzpůsobena pro snímání kompenzačního obrazu, zobrazujícího zorné pole o alespoň 5° větší než je zorné pole výřezu obrazu, čehož se dále využívá pro zrychlení vizuální zpětné vazby po vyslání signálu natočení kamerového manipulátoru o požadovaný úhel natočení.
S výhodou se využívá, že zobrazovací jednotkou je kterékoliv zařízení ze skupiny brýle pro virtuální realitu, helma pro virtuální realitu, monitor.
S výhodou se využívá, že ovladačem kamerového manipulátoru je kterékoliv zařízení ze skupiny joystick, helma pro virtuální realitu, brýle pro virtuální realitu, klávesnice, trackball, touchpad.
- 1 CZ 306641 B6
S výhodou se využívá, že snímačem pohybuje kterékoliv zařízení ze skupiny akcelerometr, gyroskop, kapacitní snímač, indukční snímač, magnetometr, odporový snímač, optoelektrický snímač, mikrospínač.
S výhodou se využívá, že kamera s kamerovým manipulátorem je umístěna na mobilním robotu. Ovladačem kamerového manipulátoru a zároveň zobrazovací jednotkou je helma pro virtuální realitu nebo brýle pro virtuální realitu.
S výhodou se využívá, že řídicí systém se skládá z alespoň jedné řídicí jednotky.
Výhodné použití systému pro zrychlení zpětné vazby spočívá v tom, že kamera v první poloze nasnímá kompenzační obraz, který následně předá do řídicího systému, jenž provede výřez obrazu z kompenzačního obrazu a následně zašle výřez obrazu do zobrazovací jednotky. Přičemž s výhodou je výřez obrazu minimálně o 5° menší než zorné pole kompenzačního obrazu. Výřez je ve statické poloze kamery centralizovaný. Oblast vzniklá okolo výřezu obrazu v kompenzačním obrazuje kompenzační oblast, určená pro zrychlení vizuální zpětné vazby. Vzniklý výřez obrazu je zaslán do zobrazovací jednotky a zobrazovací jednotka zobrazuje výřez obrazu. Poté co řídicí systém zpracuje signál o požadovaném úhlu natočení ze snímače pohybu, vyšle řídicí systém signál do kamerového manipulátoru a natočí kameru o požadovaný úhel natočení. A zároveň decentralizuje výřez zobrazovaného obrazu zobrazovací jednotkou, kde postupně zobrazuje výřez obrazu ve směru požadovaného pohybu kamery. Kompenzace zpoždění systému se tedy provede krátkodobým posunutím výřezu obrazu do kompenzační oblasti v požadovaném směru.
S výhodou se dále používá krok centralizace výřezu obrazu z kompenzačního obrazu zobrazovaného zobrazovací jednotkou po natočení kamery do požadovaného úhlu.
Objasnění výkresů
Vynález bude dále objasněn pomocí výkresů, na kterých je na obr. 1 znázorněn tradiční systém s kamerovým manipulátorem a na obr. 2 systém s kamerovým manipulátorem pracující s výřezem obrazu a kompenzační oblastí z kompenzačního obrazu.
Příklady uskutečnění vynálezu
Příkladem provedení vynálezu je systém a metoda pro zrychlení vizuální zpětné vazby u kamerového manipulátoru, zahrnující řídicí systém 2, tvořený např. dvěma řídicími jednotkami, první řídicí jednotkou 6 a druhou řídicí jednotkou 7, jak je znázorněno na obr. 1 a obr. 2. K řídicímu systému 2 je na jedné straně připojena kamera 4 snímající zorné pole alespoň 90°, umístěná na kamerovém manipulátoru 3 připevněném na mobilním robotu nebo jiném, ať už stacionárním nebo pohyblivém kamerovém systému. A na druhé straně je k řídicímu systému 2 připojena zobrazovací jednotka 5, např. v podobě helmy virtuální reality obsahující displej se zorným polem alespoň 80°, alternativně může být zobrazovací jednotka provedena jako brýle virtuální reality nebo monitor. Dále je k řídicímu systému 2 připojen ovladač 1 kamerového manipulátoru, který může být např. v podobě helmy virtuální reality, joysticku, brýlí pro virtuální realitu, klávesnice, touchpadu nebo trackballu, přičemž ovladač 1 kamerového manipulátoru obsahuje snímač pohybu tvořený např. akcelerometrem, gyroskopem, kapacitním snímačem, indukčním snímačem, odporovým snímačem, optoelektrickým snímačem, magnetometrem nebo mikrospínačem vysílajícím signály o pohybu např. hlavy nebo ruky do řídicího systému 2. Kamera 4 snímá kompenzační obraz, který je poslán do řídicího systému 2, který provede ve středu kompenzačního obrazu výřez obrazu. Oblast vzniklá okolo výřezu obrazu v kompenzačním obrazu je kompenzační oblast. Řídicí systém 2 posílá výřez obrazu do zobrazovací jednotky 5. Při zaznamenání pohybu vyšle snímač pohybu signál o požadovaném úhlu natočení do řídicího systému 2, který ho zpracuje a na základě něho vyšle pokyn k natočení do kamerového manipulátoru 3 a zároveň začne
-2 CZ 306641 B6 posouvat výřez obrazu do kompenzační oblasti. Tato operace se děje decentralizováním výřezu obrazu v kompenzačním obrazu, díky čemuž se minimalizuje zpoždění mezi pokynem k natočení a natočením výřezu obrazu o požadovaný úhel natočení. Při natočení kamery 4 o požadovaný úhel natočení dojde k centralizaci výřezu obrazu.
Claims (8)
- PATENTOVÉ NÁROKY1. Způsob použití systému pro zrychlení vizuální zpětné vazby u kamerového manipulátoru (3) zahrnující kameru (4), kamerový manipulátor (3), zobrazovací jednotku (5) a ovladač (1) kamerového manipulátoru se snímačem pohybu, které jsou připojeny k řídicímu systému (2), zahrnující kroky, kdy kamera (4) v první poloze snímá kompenzační obraz, který předává do řídicího systému (2), vyznačující se tím, že řídicí systém (2) provede výřez obrazu z kompenzačního obrazu, přičemž zorné pole výřezu obrazuje minimálně o 5° menší než zorné pole kompenzačního obrazu a výřez obrazu je ve statické poloze kamery centralizovaný, vzniklý výřez obrazu je zaslán do zobrazovací jednotky (5), zobrazovací jednotka (5) zobrazuje výřez obrazu, jakmile řídicí systém (2) zpracuje signál o požadovaném úhlu natočení ze snímače pohybu, řídicí systém (2) odešle zároveň signál kamerovému manipulátoru (3) určující požadovaný úhel natočení kamery (4), a zároveň decentralizuje výřez zobrazovaného obrazu zobrazovací jednotkou (5), kde postupně zobrazuje výřez obrazu ve směru požadovaného pohybu kamery.
- 2. Způsob použití systému pro zrychlení vizuální zpětné vazby u kamerového manipulátoru podle nároku 1, vyznačující se tím, že dále zahrnuje krok centralizace výřezu obrazu z kompenzačního obrazu zobrazovaného zobrazovací jednotkou (5) po natočení kamery (4) do požadovaného úhlu.
- 3. Systém pro zrychlení vizuální zpětné vazby u kamerového manipulátoru (3) pro použití podle kteréhokoliv z nároku 1 nebo 2 zahrnující řídicí systém (2) spojený s kamerou (4) umístěnou na kamerovém manipulátoru (3), zobrazovací jednotku (5) pro zobrazení určitého výřezu obrazu a ovladač (1) kamerového manipulátoru se snímačem pohybu, přičemž řídicí systém (2) je uzpůsoben pro zpracování signálu ze snímače pohybu a zpracování výstupu z kamery (4), vyznačující se tím, že kamera (4) je uzpůsobena pro snímání kompenzačního obrazu, přičemž zorné pole kompenzačního obrazuje o alespoň 5° větší než zorné pole výřezu obrazu.
- 4. Systém pro zrychlení vizuální zpětné vazby u kamerového manipulátoru (3), podle nároku 3, vyznačující se tím, že zobrazovací jednotkou (5) je kterékoliv zařízení ze skupiny brýle pro virtuální realitu, helma pro virtuální realitu, monitor.
- 5. Systém pro zrychlení vizuální zpětné vazby u kamerového manipulátoru (3), podle kteréhokoliv z výše uvedených nároků, vyznačující se tím, že ovladačem (1) kamerového manipulátoru je kterékoliv zařízení ze skupiny joystick, helma pro virtuální realitu, brýle pro virtuální realitu, klávesnice, trackball, touchpad.
- 6. Systém pro zrychlení vizuální zpětné vazby u kamerového manipulátoru (3), podle kteréhokoliv z výše uvedených nároků, vyznačující se tím, že snímačem pohybu je kterékoliv zařízení ze skupiny akcelerometr, gyroskop, kapacitní snímač, indukční snímač, magnetometr, odporový snímač, optoelektrický snímač mikrospínač.
- 7. Systém pro zrychlení vizuální zpětné vazby u kamerového manipulátoru (3), podle kteréhokoliv z výše uvedených nároků, vyznačující se tím, že kamera (4) s kamerovým manipulátorem (3) je umístěna na mobilním robotu a tím, že ovladačem (1) kamerového manipulátoru a zobrazovací jednotkou (5) je helma pro virtuální realitu nebo brýle pro virtuální realitu.-3 CZ 306641 B6
- 8. Systém pro zrychlení vizuální zpětné vazby u kamerového manipulátoru (3), podle kteréhokoliv z výše uvedených nároků, vyznačující se tím, že řídicí systém (2) se skládá z alespoň jedné řídicí jednotky.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CZ2015-879A CZ2015879A3 (cs) | 2015-12-09 | 2015-12-09 | Způsob použití systému pro zrychlení vizuální zpětné vazby u kamerového manipulátoru a systém pro zrychlení vizuální zpětné vazby u kamerového manipulátoru |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CZ2015-879A CZ2015879A3 (cs) | 2015-12-09 | 2015-12-09 | Způsob použití systému pro zrychlení vizuální zpětné vazby u kamerového manipulátoru a systém pro zrychlení vizuální zpětné vazby u kamerového manipulátoru |
Publications (2)
Publication Number | Publication Date |
---|---|
CZ306641B6 true CZ306641B6 (cs) | 2017-04-12 |
CZ2015879A3 CZ2015879A3 (cs) | 2017-04-12 |
Family
ID=58699392
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CZ2015-879A CZ2015879A3 (cs) | 2015-12-09 | 2015-12-09 | Způsob použití systému pro zrychlení vizuální zpětné vazby u kamerového manipulátoru a systém pro zrychlení vizuální zpětné vazby u kamerového manipulátoru |
Country Status (1)
Country | Link |
---|---|
CZ (1) | CZ2015879A3 (cs) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6191808B1 (en) * | 1993-08-04 | 2001-02-20 | Canon Kabushiki Kaisha | Image processing method with viewpoint compensation and apparatus therefor |
WO2007134456A1 (en) * | 2006-05-24 | 2007-11-29 | Smart Technologies Ulc | Method and apparatus for inhibiting a subject's eyes from being exposed to projected light |
US20090066842A1 (en) * | 2007-09-07 | 2009-03-12 | Denso Corporation | Image processing apparatus |
US20120120264A1 (en) * | 2010-11-12 | 2012-05-17 | Samsung Electronics Co., Ltd. | Method and apparatus for video stabilization by compensating for view direction of camera |
US20140314336A1 (en) * | 2011-12-19 | 2014-10-23 | Dai Nippon Printing Co., Ltd. | Image processing device, image processing method, program for image processing device, recording medium, and image display device |
CN104695311A (zh) * | 2014-12-31 | 2015-06-10 | 广东光阵光电科技有限公司 | 一种路面情况车载监测方法及*** |
-
2015
- 2015-12-09 CZ CZ2015-879A patent/CZ2015879A3/cs not_active IP Right Cessation
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6191808B1 (en) * | 1993-08-04 | 2001-02-20 | Canon Kabushiki Kaisha | Image processing method with viewpoint compensation and apparatus therefor |
WO2007134456A1 (en) * | 2006-05-24 | 2007-11-29 | Smart Technologies Ulc | Method and apparatus for inhibiting a subject's eyes from being exposed to projected light |
US20090066842A1 (en) * | 2007-09-07 | 2009-03-12 | Denso Corporation | Image processing apparatus |
US20120120264A1 (en) * | 2010-11-12 | 2012-05-17 | Samsung Electronics Co., Ltd. | Method and apparatus for video stabilization by compensating for view direction of camera |
US20140314336A1 (en) * | 2011-12-19 | 2014-10-23 | Dai Nippon Printing Co., Ltd. | Image processing device, image processing method, program for image processing device, recording medium, and image display device |
CN104695311A (zh) * | 2014-12-31 | 2015-06-10 | 广东光阵光电科技有限公司 | 一种路面情况车载监测方法及*** |
Also Published As
Publication number | Publication date |
---|---|
CZ2015879A3 (cs) | 2017-04-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11345042B2 (en) | Robot system equipped with video display apparatus that displays image of virtual object in superimposed fashion on real image of robot | |
JP6220961B2 (ja) | 作業機械の遠隔操縦システム | |
KR102358967B1 (ko) | 이미징 기기의 방향 제어 시스템 및 방법 | |
JP6188440B2 (ja) | ロボット装置及びロボット制御方法 | |
US8285416B2 (en) | System and method for stabilization control adopting vestibulo-ocular reflex | |
JP4899217B2 (ja) | 前庭動眼反射の原理を用いる眼球運動制御装置 | |
WO2012115166A1 (ja) | マスタ操作入力装置及びマスタスレーブマニピュレータ | |
WO2021024586A1 (ja) | 制御装置、制御システム、ロボットシステム及び制御方法 | |
Zhang et al. | Autonomous hovering of a vision/IMU guided quadrotor | |
JP6650710B2 (ja) | 無人車両における遠隔操縦用画像の作製方法、及び無人車両の遠隔操縦システム | |
CN112638593A (zh) | 用于机器人拾取***的增强现实可视化技术 | |
US11510552B2 (en) | Medical system and operation method therefor | |
JP2019020997A5 (cs) | ||
US20200214667A1 (en) | Ultrasound probe navigation using a haptic feedback device | |
CN109791908A (zh) | 机器人、机器人的控制装置及机器人的位置教示方法 | |
US20200361092A1 (en) | Robot operating device, robot, and robot operating method | |
CN110811497A (zh) | 一种胶囊内窥镜的控制方法及应用其的胶囊内窥镜 | |
JP2013039635A (ja) | ロボット制御システムおよびロボット制御方法 | |
CZ306641B6 (cs) | Způsob použití systému pro zrychlení vizuální zpětné vazby u kamerového manipulátoru a systém pro zrychlení vizuální zpětné vazby u kamerového manipulátoru | |
JP2019198905A (ja) | 画像表示装置、画像表示方法および遠隔操縦システム | |
JP2015196208A (ja) | ワーク保持方法 | |
JPWO2022124398A5 (cs) | ||
EP4075786A1 (en) | Image processing device, system, image processing method and image processing program | |
JP5453859B2 (ja) | ロボットシステム | |
JP2020175453A (ja) | 遠隔操作装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
MM4A | Patent lapsed due to non-payment of fee |
Effective date: 20171209 |