JP2007265288A - 車両及び遠隔操作装置 - Google Patents

車両及び遠隔操作装置 Download PDF

Info

Publication number
JP2007265288A
JP2007265288A JP2006092495A JP2006092495A JP2007265288A JP 2007265288 A JP2007265288 A JP 2007265288A JP 2006092495 A JP2006092495 A JP 2006092495A JP 2006092495 A JP2006092495 A JP 2006092495A JP 2007265288 A JP2007265288 A JP 2007265288A
Authority
JP
Japan
Prior art keywords
vehicle
remote control
control device
remote
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006092495A
Other languages
English (en)
Other versions
JP4822116B2 (ja
Inventor
Atsushi Sato
敦 佐藤
Hideo Yamada
英夫 山田
Seiichi Takeda
清一 武田
Kenbu So
剣武 曽
Yoshitaka Masuda
吉孝 増田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Equos Research Co Ltd
Original Assignee
Equos Research Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Equos Research Co Ltd filed Critical Equos Research Co Ltd
Priority to JP2006092495A priority Critical patent/JP4822116B2/ja
Publication of JP2007265288A publication Critical patent/JP2007265288A/ja
Application granted granted Critical
Publication of JP4822116B2 publication Critical patent/JP4822116B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Traffic Control Systems (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

【課題】より安全な車両の遠隔操作を実現させる。
【解決手段】遠隔操作システムでは、特定の認証処理を実行し、適切な遠隔操作の指示を行うことができる位置に操作者が存在する場合にのみ、車両の遠隔操作を有効にする制御を行う。例えば、車両の側面に設けられたコードマークをリモコン装置のカメラで撮像して、認証用の撮像画像を生成する。そして、リモコン装置におけるECUは、認証用の撮像画像に基づいて、リモコン装置の車両に対する相対位置、リモコン装置と車両との間の障害物の有無などを検知し、操作者が適切な遠隔操作の指示を行うことができる位置に存在するか否かを判断する。そして、適切な遠隔操作の指示を行うことができる位置、例えば、操作者が操作対象となる車両を十分に目視できる範囲内に操作者が存在すると判断された場合に、遠隔操作システムにおける車両の遠隔操作を有効にする。
【選択図】図1

Description

本発明は、車両及び遠隔操作装置に係り、例えば、車両位置の移動制御に関する。
車両を狭いスペースに駐車させる場合などに、運転者操作を補助するための種々の装置が提案されている。
例えば、車両外部からの操作によって車両を指示方向に移動させる遠隔操作システムを搭載した車両が特許文献1でも提案されている。
特開2002−120742公報
このような遠隔操作システムでは、車両の移動方向を指示するためのリモコン装置(遠隔操作装置)が用いられており、遠隔操作装置には、例えば、「前進」「後退」「右旋回」「左旋回」などの車両の移動方向が割り当てられた方向ボタンが設けられている。
そして、操作者がこれらの方向ボタンを操作することによって、遠隔操作装置から方向指示に対応した指示信号(操作情報)が車両に送信され、外部から車両の移動方向を指示することができる。
このような車両の遠隔操作システムでは、遠隔操作装置からの操作情報(指示信号)を受信して車両の移動を行うようになっている。
このため、遠隔操作装置の操作者は、車両が操作情報を受信可能であれば、車両までの距離に関係なく車両を移動させることが可能であった。
しかし、遠隔操作装置と車両までの距離が大きく、例えば、50m以上離れている場合であっても操作可能であるという状態は好ましくない。
また、遠隔操作装置と車両までの距離が所定範囲内であったとしても、壁等の障害物の存在により操作者が車両を目視(確認)できない状態での操作が可能となることも好ましくない。
図7に示すように、例えば遠隔操作装置からの通信媒体が電波である場合には障害物を回り込んで操作情報が受信されてしまい、赤外線等の光通信による場合には建造物の壁やガラス等の反射によって操作情報が受信されてしまい、車両を目視できない状態での操作が可能な場合が発生してしまう。
このため、操作者が確実に車両を目視しているか確認することができない。
そこで本発明は、適切な位置での操作に基づいて、車両の遠隔操作を可能にすることを第1の目的とする。
また、本発明は、操作者が車両を目視可能な状態において車両の遠隔操作を可能にすることを第2の目的とする。
(1)請求項1に記載した発明では、遠隔操作により車両の移動を指示する遠隔操作装置であって、前記車両の移動に関する操作情報を入力する入力手段と、前記入力された操作情報を前記車両に送信する送信手段と、前記車両と自装置との関係が、操作者が安全確認可能な条件を満たしているか否かを判断する判断手段と、前記判断手段で前記安全確認可能な条件を満たしていないと判断された場合に、前記車両に対する遠隔操作を禁止する禁止手段と、を遠隔操作装置に具備させて前記第1の目的を達成する。
(2)請求項2に記載した発明では、請求項1に記載の遠隔操作装置において、前記判断手段は、前記車両から所定距離の範囲内に自装置が存在しているか否かを判断し、前記禁止手段は、前記判断手段で前記所定距離範囲内に存在していないと判断された場合に、前記車両に対する遠隔操作を禁止する、ことを特徴とする。
(3)請求項3に記載した発明では、請求項2に記載の遠隔操作装置において、車両に配設された所定のマークを撮像する撮像手段を備え、前記判断手段は、前記撮像した画像における前記マークの状態に基づいて、前記車両から所定距離の範囲内に存在しているか否かを判断する、ことにより前記第1及び第2の目的を達成する。
(4)請求項4に記載した発明では、請求項3に記載の遠隔操作装置において、前記撮像手段で撮像するマークは所定のコードで構成され、前記撮像手段による撮像画像から前記コードを認識する認識手段を備え、前記判断手段は、前記認識手段でコードを認識可能な場合に、前記車両から所定距離の範囲内に存在していると判断する、ことを特徴とする。
(5)請求項5に記載した発明では、請求項3又は請求項4に記載の遠隔操作装置において、前記撮像手段で撮像するマークは前記車両を識別する識別情報を含み、前記判断手段は、前記認識手段で認識した識別情報が、予め登録された識別情報と一致する場合に、前記車両から所定距離の範囲内に存在していると判断する、ことを特徴とする。
(6)請求項6に記載した発明では、請求項3、請求項4又は請求項5に記載の遠隔操作装置において、前記撮像手段で撮像するマークは該マークの配設位置を識別する位置情報を含み、前記認識判断で認識した位置情報に対応した向きの車両画像を表示する表示手段を備えたことを特徴とする。
(7)請求項7に記載した発明では、請求項1から請求項6のうちのいずれか1の請求項に記載の遠隔操作装置において、前記入力手段による1回の操作に対応する指定距離を記憶する記憶手段と、前記入力手段による操作回数と前記記憶された指定距離とに基づいて、移動距離を算出する算出手段を備え、前記送信手段は、前記算出した移動距離の情報を操作情報に含めて車両に送信する、ことを特徴とする。
(8)請求項8に記載した発明では、遠隔操作装置から送信される操作情報を受信する受信手段と、前記受信した操作情報に従って自車両を移動する移動手段と、前記遠隔操作装置と自車両との関係が、操作者が安全確認可能な条件を満たしているか否かを判断する判断手段と、前記判断手段で、前記安全確認可能な条件を満たしていないと判断した場合に、移動手段による移動を禁止する移動禁止手段と、を車両に具備させて前記第1の目的を達成する。
(9)請求項9に記載した発明では、請求項8に記載の車両において、前記判断手段は、前記遠隔操作装置が自車両から所定距離の範囲内に存在しているか否かを判断し、前記禁止手段は、前記判断手段で前記遠隔操作装置が所定距離の範囲内に存在していないと判断した場合に、移動手段による移動を禁止する、ことを特徴とする。
(10)請求項10に記載した発明では、請求項9に記載の車両において、遠隔操作装置に配設された所定のマークを撮像する撮像手段を備え、前記判断手段は、前記撮像した画像における前記マークの状態に基づいて、前記遠隔操作装置が自車両から所定距離の範囲内に存在しているか否かを判断する、ことで前記第1及び第2の目的を達成する。
(11)請求項11に記載した発明では、請求項10に記載の車両において、前記撮像手段で撮像するマークは所定のコードで構成され、前記撮像手段による撮像画像から前記コードを認識する認識手段を備え、前記判断手段は、前記認識手段でコードを認識可能な場合に、前記遠隔操作装置が自車両から所定距離の範囲内に存在していると判断する、ことを特徴とする。
(12)請求項12に記載した発明では、請求項10又は請求項11に記載の車両において、前記撮像手段で撮像するマークは前記遠隔操作装置を識別する識別情報を含み、前記判断手段は、前記認識手段で認識した識別情報が、予め登録された識別情報と一致する場合に、前記遠隔操作装置が自車両から所定距離の範囲内に存在していると判断する、ことを特徴とする。
本発明によれば、車両と遠隔操作装置との関係が、操作者が安全確認可能な条件を満たしていない場合には、車両が移動しない構成としたので、適切な位置での遠隔操作が実現される。
また、請求項3から請求項6、請求項10から請求項12記載の発明によれば、撮像画像に基づいて所定距離範囲内に存在しているか否かを判断する構成としたので、車両を目視可能な状態での遠隔操作であることがより保証される。
以下、本発明の車両及び遠隔操作装置における好適な実施の形態について、図1から図10を参照して詳細に説明する。
(1)実施形態の概要
本実施形態では、遠隔操作装置と車両とから構成される遠隔操作システム、すなわち、車両の外部に存在する遠隔操作装置から移動方向に関する操作情報が送信され、この操作情報を受信した車両が操作情報で指示された方向に移動する遠隔操作システムについて説明する。
本実施形態の遠隔操作システムでは、特定の認証処理を実行し、適切な遠隔操作の指示を行うことができる位置に操作者が存在する場合にのみ、車両の遠隔操作を可能(有効)にする制御を行う。
例えば、車両の側面に設けられた認証用画像(コードマーク)をリモコン装置のカメラで撮像して、認証用の撮像画像を生成する。
また、認証用の撮像画像は、リモコン装置のディスプレイに表示させた認証用画像を車両に設けられた画像センサ(カメラ)で撮像することによって生成することもできる。
そして、リモコン装置または車両におけるECUは、認証用の撮像画像に基づいて、リモコン装置と車両との間隔(距離)、リモコン装置(操作者)の車両に対する相対位置、、リモコン装置と車両との間の障害物の有無などを検知し、この検知結果に基づいて、操作者が適切に遠隔操作の指示を行うことができる位置に存在するか否かを判断する。
そして、適切に遠隔操作の指示を行うことができる位置、例えば、操作者が操作対象となる車両を十分に目視できる範囲内に、操作者が存在すると判断された場合に、遠隔操作システムにおける車両の遠隔操作を有効にする。
本実施の形態によれば、適切な遠隔操作の指示を行うことができる位置に操作者が存在する場合にのみ車両の遠隔操作が有効となるため、遠隔操作システムにおける操作上の安全性を向上させることができる。
また、リモコン(遠隔)操作の有効・無効の判断を認証用の撮像画像に基づいて行うことにより、図7に示されるような、反射や回り込みの影響を受けた信号により車両の遠隔操作が行われるような不都合の発生を適切に抑制することができる。
(2)第1実施形態の詳細
図1は、本実施形態の車両及び遠隔操作装置を用いた遠隔操作システムの概要構成を表したものである。
この遠隔操作システムは、車体の外部に存在する操作者がリモコン装置20を用いて車両10を所望する方向へ移動操作するものである。このリモコン装置20は、遠隔操作装置として機能する。
本実施形態における車両10は、4つの駆動輪を備えている。これらの駆動輪にはそれぞれ独立して駆動するホイールモータが配置され、さらにそれぞれ独立して操舵方向を変更可能になっており、例えば真横や斜め方向の並行移動を含む広範囲な方向への移動が可能になっている。
図1に示されるように、車両10の車体外側の前後左右の側面には、リモコン装置20から送信される信号を検知するセンサ40a〜dが配設されている。詳しくは、車体の左方側面にセンサ40a、後方側面にセンサ40b、右方側面にセンサ40c、前方側面にセンサ40dが配設されている。
また、車両10の車体外側の前後左右の側面には、コードマーク50a〜dが配設されている。詳しくは、車体の左方側面にコードマーク50a、後方側面にコードマーク50b、右方側面にコードマーク50c、前方側面にコードマーク50dが配設されている。
コードマーク50a〜dは、車両10の識別情報(ID)やコードマーク50a〜dの配設位置(前、後、左、右)を特定する位置情報などを符号化して表示したものである。
本実施形態では、コードマーク50a〜dは、図1に示されるように二次元バーコードによって構成されているが、単純なバーコードやテキストコード、図形、記号など光学的に読み取り可能な表示方法を用いるようにしてもよい。
本実施形態で用いられる二次元バーコードとは、水平と垂直方向、つまり二次元方向に情報をもつバーコード方式であり、このように縦、横二方向に情報を持つことにより記録可能な情報量を飛躍的に増加させたコードである。
また、本実施形態では、コードマーク50a〜dをIR(赤外線)光のみに反応する特殊インクによる印刷(印字)処理を車体に施すことにより設けられている。
そのため、車両10の外観を損なわずに、即ち、通常の状態では目立たない状態で、コードマーク50a〜dを車両10に設けることができる。
このようなIR光に反応する特殊インクを用いてコードマーク50a〜dを形成した場合には、赤外線撮影機能を有するカメラを用いてコードマーク50a〜dを撮像する。
なお、コードマーク50a〜dは、肉眼で確認できる状態で車体にマーキングするようにしてもよい。
このように通常の印刷(マーキング)方法を用いてコードマーク50a〜dを形成した場合には、可視光による一般的な撮像機能を有するカメラを用いてコードマーク50a〜dを撮像することができる。
リモコン装置20は、車両10の移動方向を指示するための装置であり、操作者によって操作される。
リモコン装置20には、図1に示されるように、送受信部21、ディスプレイ23、操作デバイス(入力装置)25が配置されている。
また、リモコン装置20には、図示しないが、ディスプレイ23の背面側に、コードマーク50a〜dを撮像するためのカメラ30が設けられている。
ディスプレイ23には、リモコン装置20の位置を検出した車両10から送信される操作画面選択信号に基づいて、操作者が見ている車両10の方向と一致する方向の車両画像が表示されるようになっている。
例えば、リモコン装置20からの信号をセンサ40aで検出すると、車両10は操作者が(リモコン装置20)が車両の左側の領域Aに存在すると認識する。
そして、リモコン装置20に対して、操作者から見て左向きの車両画像を表示することを指示する操作画面選択信号を送信し、これを受信したリモコン装置20のディスプレイ23には、操作者が見ている車両の方向と同一方向(左向き)の車両画像が表示される。
一方、操作者が領域Bに移動すると、ディスプレイ23には、上向き(車両前方が送受信部21側)の車両画像が表示される。
このように、ディスプレイ23に、見た状態と同じ方向の車両画像が表示されるので、操作者はリモコン装置20自体の向きを車両の向きと一致させて考えてしまうことが防止される。即ち、操作者の位置を基準にした移動方向であることが車両画像から確認できるので、操作者が方向性を混乱することが一層防止される。
リモコン装置20は、送受信部21、ディスプレイ23、操作デバイス25、カメラ30などを有する専用の操作装置を用いることも可能であるが、本実施形態では、カメラ付き携帯電話等の撮像機能を備えた携帯端末装置が用いられる。
詳しくは、通信機能の他、入力、記憶、演算、制御、出力のコンピュータにおける5大機能、画像撮影機能を備えた携帯端末装置に、車両10の遠隔操作制御を実行させる専用アプリケーションソフト(応用ソフトウェア)をインストールしたものをリモコン装置20として用いる。
なお、携帯電話をリモコン装置20として機能させるための専用アプリケーションソフトは、車両10のメーカが運営するウェブサイトなどからダウンロートすることにより取得することができる。
専用アプリケーションソフトは、操作対象の車両10以外の車両に対する誤操作などを防止するために、車種ごとに操作信号が個別設定されていることが好ましい。
また、予めリモコン装置20に操作対象となる車両10の認証登録(コードマーク50から認識される車両10の識別情報の登録)をしておき、リモコン装置20による遠隔操作を実行する際に車両10の認証処理を行うようにしてもよい。
本実施形態に係るリモコン装置20は、二次元バーコードの認識機能を備え、カメラ30で撮像したコードマーク50a〜dに記された内容を認識するようになっている。
図2は、本実施形態の車両10についての遠隔操作システム構成を表したものである。
図2に示されるように、車両10は、センサ40a〜d、シリアル通信信号処理部41、ECU(電子制御装置)42、ROM(リード・オンリ・メモリ)43、シリアルI/F44を備えており、これらはバス45を介して電気的に接続されている。
また、遠隔操作システムでは、シリアルI/F44を介して、ECU42と車両信号処理部46とが接続されている。
センサ40a〜dは、車両10の外部に位置するリモコン装置20の信号を検知する検知装置である。なお、センサ40a〜dは、指向性を有する装置で構成され、その感知方向が車体の外側方向を向くように配設されている。
センサ40a〜dには、それぞれリモコン装置20から送信されるリモコン信号(操作情報)を受信(検知)する受信機と、車両10側(例えばECU42など)において処理された各種制御信号をリモコン装置20へ送信する送信機を備えている。
シリアル通信信号処理部41は、センサ40a〜dで受信したリモコン信号、及び、センサ40a〜dに送信する信号を、適切な形式の信号へ変換する処理を行う。即ち、シリアル通信信号処理部41は、車両10とリモコン装置との間の通信I/F(インターフェース)として機能する。
センサ40a〜dでは、いずれのセンサ40a〜dの受信機において受信された信号であるかを判別するために、受信箇所の識別信号が受信したリモコン信号に付加される。
そして、シリアル通信信号処理部41へは、受信箇所の識別信号を付加したリモコン信号が入力される。
ECU42は、CPU(中央演算処理装置)、RAM等の内部記憶装置等のコンピュータシステムで構成されている。
ECU42は、ROM43や外部記憶装置に格納された各種プログラム、例えば、本実施形態における車両遠隔操作処理プログラムを実行することで、対応する各種処理を行う。
ECU42は、車両遠隔操作処理プログラムに従って、操舵方向及び車両の駆動信号を供給するようになっている。
ROM43には、車両遠隔操作処理プログラムやセキュリティー処理プログラムなどの各種コントロールプログラムの他、各種処理で用いられる変換テーブルや車両IDデータなどの各種データが格納されている。
シリアルI/F44は、ECU42と車両信号処理部46とを接続するためのインターフェースである。
車両信号処理部46は、ECU42から供給される操舵方向及び車両10の駆動信号に応じて、車両10に設けられた4輪を独立して制御する操舵機構や、車両10の駆動力を制御する駆動力機構などの内部機構を制御する車両制御用のECUに供給する。
図3は、本実施形態のリモコン装置20についてのシステム構成を表したものである。
図3に示されるように、リモコン装置20は、送受信部21、シリアル通信信号処理部22、ディスプレイ23、ディスプレイコントローラ24、操作デバイス25、操作デバイス信号処理部26、ECU(電子制御装置)27、ROM28、カメラ30、カメラI/F31、画像信号処理部32を備えており、これらはバス29を介して電気的に接続されている。
送受信部21は、リモコン装置20の上端に配設され、車両10のセンサ40a〜dから送信される信号を受信(検知)する受信機と、リモコン装置20側(例えばECU27など)において処理されたリモコン信号を車両10のセンサ40a〜dへ送信する送信機を備えている。
なお、リモコン装置20と車両10間の通信は、光、電磁波等の各種方法を採用することが可能である。
シリアル通信信号処理部22は、送受信部21において受信された信号、及びセンサ40a〜dへ送信される信号を、所定形式の信号へ変換する処理を行う。
ディスプレイ23は、ECU27で処理された処理結果を表示出力する出力装置であり、液晶ディスプレイ等の各種表示手段で構成される。
ディスプレイコントローラ24は、ディスプレイ23における表示出力を制御する。ディスプレイ23が例えば、液晶ディスプレイから構成される場合には、液晶に印加する電圧やバックライトの制御を行う。
ディスプレイ23には、車両10のセンサ40a〜dから送信される操作画面選択信号に基づいて、操作者が見ている車両10の方向と一致する方向の車両画像が表示される。
操作デバイス25は、リモコン装置20に車両の移動に関する操作情報、具体的には方向指示コマンドを入力する入力装置であり、本実施形態では、十字型の方向キー251(図5参照)から構成されているが、ジョイスティックや4つの方向指示ボタンで構成するようにしてもよい。
また、リモコン装置20は、操作デバイス25の他、電源のON/OFFスイッチ、リセットボタンなどの入力装置を備えている。
操作デバイス信号処理部26は、操作デバイス25の操作状態を検出し、対応信号をバス29を介してECU27に供給する。
カメラ30は、コードマーク50a〜dを光学的に撮像するための撮像装置である。
カメラ30は、例えば、IR(赤外線)のLEDを備えた、可視光による一般的な撮像機能や赤外線撮影機能を有する装置によって構成されている。
なお、赤外線撮影機能のオン/オフは、カメラ30に設けられているIRカットフィルタを着脱することによって対応できるように構成されている。
カメラI/F31は、設定された諸条件に基づいてカメラ30の動作を制御するインターフェースである。
画像信号処理部32は、カメラ30により光学的に読み取られた(撮像された)コードマーク50a〜dの画像データをテキスト情報に変換する。
ECU27は、CPU(中央演算処理装置)、RAMなどの内部記憶装置等のコンピュータシステムで構成されている。
ECU27は、ROM28に格納された各種プログラム、例えば、方向指示処理プログラムや車体方向表示処理プログラムを実行することで、対応する各種処理を行う。
ECU27は、方向指示処理プログラムや車体方向表示処理プログラムに従って、シリアル通信信号処理部22やディスプレイコントローラ24を制御する。
ROM28は、リモコン装置20の内部記憶装置であり、車両10の遠隔操作制御を実現する専用のアプリケーションプログラム(応用ソフトウェア)、例えば、方向指示処理プログラム、車体方向表示処理プログラム、セキュリティー処理プログラムなどの各種コントロールプログラムの他、各種処理で用いられる車両画像データや、予め登録される車両の識別情報(車両ID)などの各種データが格納されている。
次に、このように構成された遠隔操作システムにおける車両10の移動処理について説明する。
図4は、車両遠隔操作処理の動作について表したフローチャートである。
操作者によって、車両10の遠隔操作制御を実行させる、リモコン装置20(カメラ付き携帯電話)のアプリケーションが起動されると、リモコン機能がオン状態に移行する。
そして、リモコン装置20のリモコン機能がオン状態になると、特定の周波数の位置検知用信号が送受信部21から車両10に送信される(ステップ11)。
なお、本実施形態において、位置検知用信号はリモコン装置20のリモコン機能がオン状態にある間常時発信されるようになっているが、所定時間間隔ごとに送信するように構成してもよい。
車両10側では、リモコン装置20から送信される位置検知用信号をセンサ40a〜dで検知し、この位置検知用信号の検知結果に基づいて、所定のリモコン装置20の位置検知処理を行う(ステップ21)。
すなわち、車両10のECU42は、車両10の左側面のセンサ40aが位置検知用信号を受信した場合、リモコン装置20が当該車両10の左側面方向に位置すると判断し、操作画面選択信号「左側」を、位置検知用信号を受信したセンサ40aからリモコン装置20へ送信する。
なお、ECU42は、シリアル通信信号処理部41を介して受信する位置検知用信号に付加されている受信箇所(センサ40a〜d)の識別番号から、リモコン装置20の位置を判断する。
同様に、ECU42は、位置検知用信号をセンサ40bで受信した場合には操作画面選択信号「後方」を、センサ40cで受信した場合には操作画面選択信号「右側」を、センサ40dで受信した場合には操作画面選択信号「前方」を、リモコン装置20に送信する。
なお、車両10のECU42は、複数のセンサ40a〜dにおいて位置検知用信号が検知された場合、信号の検知レベルが最も高いものを該当する反応したセンサ40a〜dとして判断する。
リモコン装置20の位置検知処理(ステップ21)により車両10から操作画面選択信号がセンサ40a〜dの送信機から送信されると、リモコン装置20は、送信された操作画面選択信号を送受信部21で受信する(ステップ12)。
次に、リモコン装置20のECU27は、受信した操作画面選択信号の種別(「左側」「後方」「右側」「前方」)に該当する車両画像データをROM28から読み出し、対応付けされた車両模式図(車両画像)をディスプレイ23に表示させる(ステップ13)。
図5は、車両10とリモコン装置20の位置と、表示される車両画像の向きとの関係を表したものである。
リモコン装置20の位置検知用信号が車両10のセンサ40aに反応した場合、つまり、リモコン装置20が車両10の左方向(図5に示すAの領域)に位置する場合には、リモコン装置20は、センサ40aから送信される操作画面選択信号「左側」を受信する。
送受信部21において操作画面選択信号「左側」が受信されると、図5に示すように、ディスプレイ23における操作者から見て上方向に車体の右側面、下方向に車体の左側面、向かって右方向に車体の後方部、向かって左方向に車体の前方部となる向きに車両画像が表示される。
即ち、ディスプレイ23における送受信部21の配置側(上側)に、位置検知用信号に反応したセンサ40aの配置側の反対側の車体の部位が向くように車両画像が表示される。
このように、リモコン装置20のディスプレイ23には、操作者から見た実際の車両10の配置されている方向と一致する車両画像が表示される。
また、リモコン装置20が車両10の後方(図5に示すBの領域)に位置する場合、リモコン装置20は、車両10のセンサ40bから送信される操作画面選択信号「後方」を受信し、図5に示すように、ディスプレイ23における操作者から見て上方向に車体の前方部が配置される向きに車両画像が表示される。
同様に、リモコン装置20が車両10の右側(C領域)に位置する場合、前方(D領域)に位置する場合、図5に示されるように、ディスプレイ23に車両画像が表示される。
このように、リモコン装置20のディスプレイ23には、常に、操作者から見た車両の方向と一致する方向の車両画像が表示される。
これにより、操作者はリモコン装置20の向き、又は自分の向きを基準として、車両の移動方向を指示すればよいことを容易に理解できる。
図4において、次に操作者はリモコン装置20を構成する携帯電話に設けられているカメラを用いて、車両10の側面に設けられているコードマーク50a〜dを撮像する(ステップ14)。
その際、操作者に対してコードマーク50a〜dの撮像を促すためのメッセージを音声や画像により出力する。
また、コードマーク50a〜dの位置をディスプレイ23に表示させるようにしてもよい。すなわち、ディスプレイ23に表示されている車両画像上の、コードマーク50a〜dの配置位置に対応する位置を点滅させる。
このように本実施形態では、リモコン装置20の位置検知用信号を受信したセンサ40a〜dに対応して配置されたコードマーク50a〜dの撮像を指示する(促す)メッセージが表示される。
そして、リモコン装置20のECU27は、撮像したコードマーク50a〜dの画像データをリモコン装置20における画像信号処理部32に読み込む(取り込む)。
続いて、ECU27は、画像信号処理部32に読み込まれたコードマーク50a〜dの画像データが認識可能なものであるか否かを判断する(ステップ15)。
画像データが認識可能であるか否かの判断は、読み込まれたコードマーク50a〜dの画像データが適切なテキストデータに変換可能であるか否かの判断結果に基づいて行われる。
リモコン装置20のECU27は、例えば、画像信号処理部32に読み込まれた画像データに基づいて、コードマーク50a〜dが適切な大きさで全領域に渡り読み込まれ、所定のテキストデータに変換可能である場合には、コードマーク50a〜dの画像データが認識可能であると判断する。
一方、例えば、画像信号処理部32に読み込まれた画像データに対するコードマーク50のサイズが極めて小さい場合や、障害物等でコードマーク50の一部が撮像されていない等の理由で、所定のテキストデータに変換することができない場合には、コードマーク50a〜dの画像データが認識不可能であると判断する。
画像信号処理部32に読み込まれたコードマーク50の画像データが認識可能なものである場合(ステップ15;Y)、リモコン装置20のECU27は、所定の遠隔操作許可条件を満たしているか否かを判断する(ステップ16)。
遠隔操作許可条件とは、操作者が安全確認可能な条件(安全確認可能条件)であり、本実施形態では、車両10を安全に遠隔操作できる範囲(領域)に操作者(リモコン装置20)が存在すると判断するための条件である。
この遠隔操作を許可する条件、即ち、遠隔操作を有効にする条件としては、例えば、操作者(リモコン装置20)が車両10から所定距離(例えば、半径2m)の範囲内に存在すること、操作者(リモコン装置20)と車両10との間に操作者の視界を遮るほどの障害物が存在しないことなどが予め設定されている。
リモコン装置20と車両10との物理的な距離は、例えば、ステップ14において撮像されたコードマーク50a〜dのサイズ(縦・横の長さ)、カメラ30の設定条件(レンズ条件、ズーム条件などの焦点距離設定条件)に基づいて算出される。
また、本実施形態では、遠隔操作許可条件として、リモコン装置20と車両10との間の通信が適切な状態であることを判断するための通信条件が設けられている。
この通信条件は、ステップ14、15で認識したコードマーク50a〜dに含まれる配設位置の情報(「左側」「右側」「後方」「前方」)と、ステップ12で受信した操作画面選択信号(「左側」「右側」「後方」「前方」)とが一致していることが条件となっている。
このように、通信条件を設けることにより、リモコン装置20の位置の検出を、位置検知用信号を用いる方法と、コードマーク50a〜dで認識する方法の両者によって、より確実に行うことができる。
所定の遠隔操作許可条件を満たしている場合(ステップ16;Y)、リモコン装置20のECU27は、例えば、遠隔操作の条件が成立したことを示すフラグを立て、リモコン装置20による車両10のリモコン(遠隔)操作を有効にする(ステップ17)。
画像信号処理部32に読み込まれたコードマーク50a〜dの画像データが認識可能でない場合(ステップ15;N)、及び所定の遠隔操作許可条件を満たしていない場合(ステップ16;N)、リモコン操作は有効にならず、遠隔操作が禁止されることになる(禁止手段)。
そして、リモコン装置20は、引き続きステップ11からの一連の処理を繰り返す。
リモコン装置20による遠隔操作が有効になると、操作者は、車両10を移動させたい方向の方向キー251(図5参照)を押下する。
例えば、車両10を操作者から見て右方向に移動させたい場合には、右方向(→)キーを押下し、左方向に移動させたい場合には、左方向(←)キーを押下する。同様に、車両を操作者から見て手前方向に移動させたい場合には、下方向(↓)キーを押下し、奥方向に移動させたい場合には、上方向(↑)キーを押下する。
本実施形態に係るリモコン装置20では、方向キー251による移動方向の指示のみでなく、車両10の移動距離をテンキーによる入力で指示することができる。
例えば、車両10を操作者から見て右方向に30cmに移動させたい場合、操作者は、「30」と数値入力した後、方向キー251の右方向(→)キーを押下すればよい。
また、車両10の移動距離の他の指示方法として、例えば、予め操作デバイス25の1回の押下(1クリック)操作に対応する移動距離(基準距離αcm)を設定し、操作者による操作デバイス25の押下回数に応じて基準距離αcmを加算した距離、即ち、基準距離αcmを押下回数倍した距離を移動距離として指示するようにしてもよい。
例えば、基準距離15cmを予め1クリック操作に対応した移動距離として設定した状態において、操作者が、方向キー251の右方向(→)キーを2回クリック(2度押下)した場合、操作者から見て右方向に15cmの2倍(15cm×2)、つまり30cmだけ車両10を移動させることを指示できる。
なお、1クリック動作に割り付けられる基準距離αcmは、例えば、10cm、15cm、20cm、25cm、…のように、任意に設定することができる。
このように、操作デバイス25の1クリック(1回押下)に対応する車両10の移動単位を設定し、操作デバイス25のクリック回数(押下回数)に応じた車両10の移動距離(移動量)の指示を可能とすることにより、容易に車両10の適切な移動を指示することができる。
方向キー251(操作デバイス25)が押下されると、操作デバイス信号処理部26は、押下されたキーに対応する信号、及び、移動距離の指示情報に対応する信号、即ち移動方向と移動距離を指示する操作信号(操作情報)を生成する。
そして、ECU27は、生成した操作信号を送受信部21から車両10のセンサ40a〜dへ送信する(ステップ18)。
操作信号を送信した後、ECU27は、電源のOFF処理が行われた否か、即ち、当該リモコン装置20の電源スイッチがOFFされたか否かを判断する(ステップ19)。
電源のOFF処理が行われた場合(ステップ19;Y)、リモコン装置20は処理を終了する。
電源のOFF処理が行われなければ(ステップ19;N)、ECU27は、引き続きステップ11からの一連の処理を繰り返す。
一方、リモコン装置20から操作信号(移動方向、移動距離)が送信されると、車両10は、センサ40a〜dを介してこの操作信号を受信する(ステップ22)。
次に、車両10のECU42は、車両遠隔操作処理プログラムに従って、ステップ21で検知したリモコン装置20の位置と、ステップ22で取得した移動方向を指示する操作信号の情報に基づいて車輪の操舵方向を決定する(ステップ23)。
ここでは、車両10とリモコン装置20の位置関係から、受信した操作信号が指示する操作者の所望する車両の移動方向、即ち車輪の操舵方向を決定(設定)する。
この操舵方向の設定は、例えば、ROM43に格納されている変換テーブルを用いて行う。
図6は、変換テーブルの一例を表したものである。
このような変換テーブルを参照することにより、リモコン装置20の位置と操作信号が示す方向とから、指示された車両10の移動方向、即ち車輪の操舵方向を一義的に決定することができる。
例えば、リモコン装置20が車両10の左方向(図5に示すAの領域)に位置し、操作信号が「右方向」を指示している場合、操舵方向は、車両10を「後退」させる方向に決定される。
次に、ECU42は、決定した車両10の操舵方向に適した(対応した)実際の車両10の車輪の操舵制御を行う(ステップ24)。
この車輪の操舵制御は、決定された車両10の操舵方向を示す操舵信号を、ECU42からシリアルI/F44を介して車両信号処理部46に出力し、車両信号処理部46から4輪を制御する操舵機構へ制御信号を送信することにより実行される。
続いて、車輪の操舵制御が完了すると、ECU42は、車両を安全に移動するための速度(例えば、時速5km以下)に必要な駆動力に適した(対応した)駆動力を出力し、指示された移動距離だけ車両10を移動する駆動力制御を行う(ステップ25)。
即ち、ECU42は、車両10の移動に必要な駆動力及び車両10の移動距離に対応した駆動力信号を、シリアルI/F44を介して車両信号処理部46に出力し、車両信号処理部46から車両10の駆動力を制御する車両制御用のECUに制御信号を供給することにより実行される。
車両制御用のECUは、供給された制御信号に基づいて、駆動輪の各ホイールモータに対して駆動力に応じた電流を供給し、指定された所定距離だけ車両が移動される。
車輪の駆動力制御、即ち、操作信号で指示された移動距離に相当する距離だけ車両10を移動が完了すると、車両10のECU42は、リモコン装置20の電源がOFF状態であるか否かを判断する(ステップ26)。
リモコン装置20の電源の投入状態(ON/OFF状態)は、リモコン装置20から送信される位置検知用信号の検知の有無に基づいて判断する。
即ち、ECU42は、センサ40a〜dでリモコン装置20から送信される位置検知用信号を受信している場合には、リモコン装置20がON状態であると判断し、位置検知用信号を受信していない場合には、リモコン装置20がOFF状態であると判断する。
リモコン装置20の電源がON状態であると判断された場合(ステップ26;N)、ECU42は、ステップ21からの一連の処理を繰り返す。
一方、リモコン装置20の電源がOFF状態である判断された場合(ステップ26;Y)、ECU42は処理を終了する。
本実施形態では、コードマーク50a〜dの撮像処理、即ち、リモコン装置20による車両10のリモコン(遠隔)操作を有効にする処理(認証処理)は、操作者と車両10との相対的な位置関係が変更される時に、例えば、操作者の位置が車両10の左方向(図5に示すAの領域)から、車両10の後方(図5に示すBの領域)に移った時に行うように構成されている。
コードマーク50a〜dの撮像による認証処理は、このように、車両10の移動方向が変わるごとに行うようにしても、また、タイマー時間(例えば、30秒)を設定し、一度の認証処理の後、タイマーの設定時間内はリモコン装置20による車両10のリモコン(遠隔)操作を有効にするようにしてもよい。
本実施形態では、リモコン装置20による車両10のリモコン(遠隔)操作が有効な状態であっても、無効な状態であっても、即ち、無条件で車両10の停止指示(停止操作)は、行うことができるように構成されている。
すなわち、本実施形態のリモコン装置20による車両10の遠隔操作は、車両10を移動させる場合には、遠隔操作許可条件を満たす場合に操作を有効にし、満たさない場合に遠隔操作が禁止されるが、操作中及び車両の移動中における停止指示については無条件で行うことが可能に構成されている。
また本実施形態では、コードマーク50a〜dの撮像画像に基づいて、例えば、操作者(リモコン装置20)と遠隔操作対象となる車両10の間隔(物理的な距離)を判断し、遠隔操作許可条件を満たしている場合にリモコン操作を有効にする認証処理を行うように構成されているが、リモコン操作を有効にする認証処理方法は、これに限定されるものではない。
例えば、画像信号処理部32に読み込まれた画像データからコードマーク50a〜dを認識可能である場合に、操作者(リモコン装置20)と車両10の間隔(物理的な距離)が十分に近く、間に障害物は存在しないと判断し、リモコン操作を有効にする(遠隔操作を禁止しない)ようにしてもよい。
この場合、車両10に設けるコードマーク50a〜dの大きさを調節することによって、リモコン操作を有効にする操作者(リモコン装置20)と車両10の間隔(物理的な距離)の範囲を設定(限定)することができる。
以上説明したように本実施形態の車両とリモコン装置20からなる遠隔操作システムでは、リモコン装置20による遠隔操作を有効にするための遠隔操作許可条件として、リモコン装置20と対象車両10との距離(間隔)の範囲を設定し、操作者(リモコン装置20)が車両10の近傍に存在しない場合に、リモコン(遠隔)操作を禁止するように構成されている。
そのため、常に、車両10及びその周辺について、目視による確認が可能な位置において遠隔操作を実行させることができる。
また、本実施形態によれば、リモコン装置20による遠隔操作を有効にするための遠隔操作許可条件に、カメラ30によるコードマーク50a〜dの撮像画像の状態に基づく判断を加味することにより、操作者が、コードマーク50a〜dを目視可能な範囲に存在すること、また、操作者(リモコン装置20)と車両10との間に視界に影響をもたらす程の障害物が存在しないことを判断することができる。
本実施形態によれば、操作者(リモコン装置20)の位置の検出(検知)を、位置検知用信号を用いる方法と、コードマーク50a〜dを撮像する方法の2つの方法(2段階の検知方法)で確実に行うことができる。
本実施形態では、操作者(リモコン装置20)とコードマーク50a〜dとの間に、操作者の視界を遮るほどの障害物が存在する場合、即ち、操作者がコードマーク50a〜dを目視できない状態に有る場合には、リモコン装置20は適切なコードマーク50a〜dの画像を撮像することができない。
たとえ、ミラーに反射したコードマーク50a〜dを撮像した場合であっても、その画像は、本来の画像に対して反転したものとなり、画像信号処理部32において適切に復号化できないため、ステップ15の処理において、認識不可能な画像と判別される。
従って、操作者(リモコン装置20)の位置の検出に、コードマーク50a〜dを撮像する方法を用いることにより、操作者が十分に安全性を確保するための状況判断が可能な位置に存在することを適切に検知(検出)することができる。
また、本実施形態に係る遠隔操作システムによれば、車両10と操作者(リモコン装置20)との位置関係、すなわち、操作者が対面する車両10の部位に応じて、操作デバイス25(方向キー251)を押下することにより指示される車両10の操舵方向が変化する。
即ち、本実施形態の遠隔操作システムでは、従来の遠隔操作システムで用いられるリモコン装置のように、操作デバイス25に車両10の操舵方向が固定されない。
そして、操作者は、自分(リモコン装置20)を基準として、車両10を移動させたい向きと同じ向きに配設(配列)された操作デバイス25(方向キー251)を押下することで、所望の方向に車両10を移動させることができる。
これにより、操作者は、実際の車両10の向きに合わせて容易に所望する車両10の移動方向を指示することができるため、車両10の遠隔操作を行う際の利便性を向上させることができ、さらに、誤操作を抑制することができる。
以上、本発明の車両における1実施形態について説明したが、本発明は説明した実施形態に限定されるものではなく、各請求項に記載した範囲において各種の変形を行うことが可能である。
例えば、説明した実施形態では、ディスプレイ23と操作デバイス25をそれぞれ独立した装置によって構成した携帯電話をリモコン装置20として用いた場合について説明したが、ディスプレイ23と操作デバイス25を、入力機能と表示機能を兼備したタッチパネルやタッチスクリーンを用いて構成するようにしてもよい。
このように、ディスプレイ23と操作デバイス25を一体化した場合には、上述した車両画像を操作デバイス(方向キー)と重ね合わせて表示させることができる。
また、説明した遠隔操作システムでは、二次元バーコードで表されたコードマーク50a〜dの撮像画像に基づいて、リモコン(遠隔)操作の有効・無効の判断を行う場合について説明した。
しかし、遠隔操作の有効・無効の判断を行う際に参照する撮像画像は、二次元バーコードで表されたコードマーク50a〜dに限定されるものではなく、車両10を識別することができる表示、例えば、シンボルマークや特有の形状を有する車体の部分などの撮像画像であればよい。
説明した実施形態では、リモコン装置20のディスプレイ23に表示する車両画像の向きを、ステップ12で受信した操作画面選択信号(「左側」「右側」「後方」「前方」)に基づいて決定する場合について説明したが、ステップ14、15で認識したコードマーク50に含まれる位置情報(「左側」「右側」「後方」「前方」)から車両画像の向きを決定するようにしてもよい。
この場合、位置検知用信号の送信と操作画面選択信号の受信(ステップ11、12)は不要である。
一方、車両10側では、ステップ21が不要になり、これに代えてリモコン装置20の位置認識をステップ22で受信する操作信号に基づいて行う。
また、位置検知用信号に基づく送受信(ステップ11、12、21)を省略する場合には、遠隔操作許可条件としての通信条件、すなわち、リモコン装置20と車両10との間の通信が適切な状態であるかについての判断についても省略される。
(3)第2実施形態の詳細
次に、遠隔操作システムにおける第2実施形態について説明する。
上述した第1実施形態における遠隔操作システムでは、リモコン装置20(携帯電話)で撮像した画像に基づいて、リモコン装置20側でリモコン(遠隔)操作の有効・無効の判断、即ち、リモコン(遠隔)操作の規制(禁止)を行う場合について説明した。
これに対して第2実施形態では、車両10bで撮像した画像に基づいて、車両10b側でリモコン(遠隔)操作の有効・無効の判断、即ち、遠隔操作の規制(禁止)を行う。
なお、上述した遠隔操作システムと重複する部位には同一の符号を付し、詳細な説明は省略する。
第2実施形態における遠隔操作システムにおいても、上述した遠隔操作システムと同様に、通信機能の他、携帯電話を用いてリモコン装置20が構成される。
第2実施形態では、リモコン装置20は、予めリモコン装置20のROM28に、リモコン装置20の識別(特定)が可能な識別用(認証用)の画像データが格納されており、この画像データは、ディスプレイ23に表示させることができるように構成されている。
なお、識別用(認証用)の画像データ(認証用画像)としては、例えば、リモコン装置20の識別子(ID)情報などを符号化して表示した光学的に読み取り可能な画像データであればよい。
本実施形態では、認証用画像として二次元バーコードを用いているが、単純なバーコード、テキストコード、図形、記号などを用いるようにしてもよい。
本実施形態では、認証用画像をリモコン装置20が備え、車両10b側が認証用画像に基づく認証結果(リモコン装置20の識別子等)を備える必要がある。
そのため、認証用画像を車両から取得してリモコン装置20に記憶するようにしても、逆にリモコン装置20から認証画像及び/又は認証結果を取得して認証結果を車両10bが記憶するようにしてもよい。
図8は、第2実施形態における遠隔操作システムの概要構成を表したものである。
図8に示されるように、第2実施形態に示す遠隔操作システムでは、車両10bの車体外側の前後左右の側面には、リモコン装置20の信号を検知するセンサ40a〜dが配設されている。
また、車両10bの車体外側には、左方側面に画像センサ60a、後方側面に画像センサ60b、右方側面に画像センサ60c、前方側面に画像センサ60dが配設されている。
図9は、第2実施形態における車両10bについての遠隔操作システムの構成を表したものである。
図9に示されるように、車両10bは、センサ40a〜d、画像センサ60a〜d、シリアル通信信号処理部41、ECU(電子制御装置)42、ROM(リード・オンリ・メモリ)43、シリアルI/F44を備えており、これらはバス45を介して電気的に接続されている。
また、遠隔操作システムでは、シリアルI/F44を介して、ECU42と車両信号処理部46とが接続されている。
画像センサ60a〜dは、車両10bの周囲を撮像(撮影)する撮像装置である。
画像センサ60a〜dは、CCD(電荷結合素子)やCMOSセンサなどの撮像素子を用いたデジタル式のビデオカメラから構成される。カメラのレンズには、焦点距離の短い広角レンズが用いられ、広い範囲の撮影に対応できるように構成されている。
画像センサ60a〜dにより撮像された画像データは、デジタル画像処理が可能な形式で格納(記憶)される。
また、画像センサ60a〜dは、撮像方向(レンズ方向)が車体の外側方向を向くように配設されている。
シリアル通信信号処理部41は、画像センサ60a〜dにおいて撮像された画像データを、適切な形式のデータへ変換する画像処理を行う。
画像センサ60a〜dで撮像された画像データには、いずれの画像センサ60a〜dにおいて撮像された画像データであるかを判別するために、撮像箇所の識別データが付加される。
そして、シリアル通信信号処理部41へは、撮像箇所の識別データが付された画像データが入力される。
ECU42は、CPU(中央演算処理装置)、RAMなど内部記憶装置等のコンピュータシステムで構成されている。
ECU42は、ROM43や外部記憶装置に格納された各種プログラム、例えば、本実施形態における車両遠隔操作処理プログラムを実行することで、対応する各種処理を行う。
ECU42は、車両遠隔操作処理プログラムに従って、車両信号処理部46を制御するようになっている。
ROM43は、遠隔操作システムの内部記憶装置であり、車両遠隔操作処理プログラムやセキュリティー処理プログラム、画像解析プログラム、モーションキャプチャープログラムなどの各種コントロールプログラムの他、各種処理で用いられる変換テーブルや車両IDデータ、動作パターンと指示方向の対応を示した定義データなどの各種データが格納されている。
シリアルI/F44は、ECU42と車両信号処理部46とを接続するためのインターフェースである。
車両信号処理部46は、機械語(マシン語)の信号を、車両10bに設けられた4輪のそれぞれを独立して制御する操舵機構や、車両10bの駆動力を制御する駆動力機構などの内部機構を制御する所定の車両信号へ変換する処理を行う。
また、車両10bには、遠隔操作システムの起動/停止を切り替える作動スイッチが設けられている。
次に、このように構成された遠隔操作システムの第2実施形態における車両10bの移動処理について説明する。
図10は、車両遠隔操作処理の動作について表したフローチャートである。
操作者により、車両10の遠隔操作制御を実行させるアプリケーションが、リモコン装置20で起動されると、リモコン機能がオン状態に移行する。
そして、リモコン装置20のリモコン機能がオン状態になると、特定の周波数の位置検知用信号が送受信部21から車両10に送信される(ステップ31)。
車両10bのECU42は、リモコン装置20から送信される位置検知用信号をセンサ40a〜dで受信し、この位置検知用信号にセンサ40a〜dで付加される識別信号によって、リモコン装置20の位置を検知する(ステップ41)。
次に、操作者は、リモコン装置20を操作し、予めリモコン装置20のROM28に格納されている識別用(認証用)の画像データを読み出し、ディスプレイ23に表示させる(ステップ32)。
なお、この識別用の画像(認証用画像)をディスプレイ23に表示させる処理は、車両10bの遠隔操作制御を実行させるアプリケーションが起動され、リモコン機能がオン状態となった時点で、自動的に行うようにしてもよい。
操作者は、認証画像が表示されたリモコン装置20のディスプレイ23を車両10bに向ける。
続いて、車両10bは、画像センサ60a〜dを用いて、リモコン装置20のディスプレイ23に表示されている識別用の画像(認証用画像)を撮像する(ステップ42)。画像センサ60a〜dにより撮像された画像データは、シリアル通信信号処理部41を介して、車両10bのECU42に入力される。
車両10bのECU42は、読み込まれた認証用画像の画像データが認識可能なものであるか否かを判断する(ステップ43)。
画像データが認識可能であるか否かの判断は、読み込まれた二次元バーコードで示された認証用画像の画像データが適切なテキストデータに変換可能であるか否かの判断結果に基づいて行われる。
車両10bのECU42は、例えば、読み込まれた認証用画像が適切な大きさで撮像され、所定のテキストデータに変換可能である場合には、認識可能であると判断する。
一方、例えば、読み込まれた認証用画像データが、介在する障害物などの影響で認証用画像の一部が欠けた状態である場合や、極めて小さいサイズである場合など、所定のテキストデータに変換することができない場合には、認識不可能であると判断する。
車両10bのECU42に読み込まれた認証用画像の画像データが認識可能なものである場合(ステップ43;Y)、車両10bのECU42は、所定の遠隔操作許可条件を満たしているか否かを判断する(ステップ44)。
所定の遠隔操作許可条件を満たしている場合(ステップ44;Y)、車両10bのECU42は、遠隔操作の条件が成立したことを示すフラグを立て、リモコン装置20による車両10bのリモコン(遠隔)操作を有効にする(ステップ45)。
そして、リモコン装置20による車両10bのリモコン(遠隔)操作が有効であることを示すと共に、車両画像の表示方向を示す操作画面選択信号(「前進」「後退」「右旋回」「左旋回」)をリモコン装置20へ送信する。
なお、読み込まれた認証用画像の画像データが認識可能でない場合(ステップ43;N)、及び所定の遠隔操作許可条件を満たしていない場合(ステップ44;N)、車両10bは、引き続きステップ41からの一連の処理を繰り返す。
車両10bから操作画面選択信号が送信されると、リモコン装置20は、送信された操作画面選択信号を送受信部21で受信する(ステップ33)。
次に、リモコン装置20のECU27は、受信した操作画面選択信号の種別(「左側」「後方」「右側」「前方」)に該当する車両画像データをROM28から読み出し、対応付けされた車両模式図(車両画像)をディスプレイ23に表示させる(ステップ34)。
これ以降、リモコン20側のステップ35、36の処理、及び、車両10側のステップ46〜ステップ50の処理については、第1実施形態におけるステップ18、19、ステップ22〜ステップ26と同様である。
以上説明したように第2実施形態では、遠隔操作の有効・無効の判断を行う際に、リモコン装置20のディスプレイ23に認証用の画像を表示させるようにしているが、識別用(認証用)の画像として、予めリモコン装置20の一部に印刷されたものや、専用マークを貼付したものなどを用いてもよい。
第2実施形態では、リモコン装置20からの操作信号(移動指示信号)を受信する前に、遠隔操作の有効・無効の判断を行うように構成されているが、遠隔操作の有効・無効の判断を行うタイミングは、これに限定されるものではない。
例えば、リモコン装置20からの操作信号(移動指示信号)を受信した後に、認証用画像を撮像し、遠隔操作が有効と判断された場合のみ、車両10bの操舵制御を実行させるようにしてもよい。
また、認証用画像を撮像する代わりに、第1実施形態と同様のコードマーク50a〜dを車両10bに設けて、このコードマーク50a〜dの画像をリモコン装置20で撮像し、撮像した画像データを操作信号(移動指示信号)と共に車両10bへ送信する。
そして、この送信されたコードマーク50a〜dの画像データに基づいて車両10b側で遠隔操作の有効・無効の判断を行うようにしてもよい。
また、説明した第2実施形態では、4つの画像センサ60a〜dを、車体の前後左右に配置する場合について説明したが、より広角な範囲、例えば180度の範囲を撮像することが可能な魚眼レンズ等の超広角レンズを使用して、画像センサを2つ配置するようにしてもよい。
この場合、2つの画像センサの撮像範囲は、車両を対角線上に2分割した各々の領域を撮像する。具体的には、1つの画像センサで、図5の領域AとBを撮像し、他の画像センサで領域CとDを撮像する。ここで、対角線上で2分割するのは、その線上に操作者がくることが少ないためである。
なお、車両の全周囲(360度)を撮像可能な魚眼レンズを使用した画像センサ1つを使用することも可能である。この場合、画像センサを車内の取り付けられた防犯用カメラなどと兼用するようにしてもよい。
ただし、魚眼レンズを使用した場合には、画像がゆがむため撮像した魚眼象を正象に変換した上で認証用画像を特定(認識)する。
また、説明した第1及び第2実施形態では、4つの駆動輪をそれぞれ独立して駆動する4輪ホイールモータを備えた車両の遠隔操作システムについて説明したが、操作対象となる車両はこれに限定されるものではない。
例えば、通常の4輪自動車のように、エンジンやモータの駆動力がシャフトを介して2輪、または4輪に伝達される車両に適用することも可能である。
また、説明した両実施形態では、リモコン装置20で車両を操作する方向として、前進、後退、右、左の4方向について説明したが、車両の移動方向は4方向に限られず、360度の全方向を指示するようにしてもよい。
この場合、リモコン装置20のディスプレイ23には、操作者の位置に応じた(車両から送信される操作画面選択信号に応じた)車両画像を表示するとともに、ディスプレイ23上に配置したタッチパネルから車両画像に対する任意の方向を指示するようにしてもよい。
この場合、リモコン装置20のECU27は、タッチされた点の座標データを車両に送信し、車両は座標データと、送信済みの操作画面選択信号(又は特定済みの操作者の位置)とから車両の移動方向を特定する。
また、説明した両実施携帯では、車両を中心とした放射線の方向に車両を移動する場合について説明したが、車両を地面に投影した領域(車両領域)内のいずれかの点を指定し、該点を回転中心として車両を回転移動させる信地回転についても遠隔操作可能に構成してもよい。
この場合、リモコン装置20では、回転中心と回転方向を操作情報として車両10に送信する。
なお、信地回転に限らず、車両領域外を中心とする回転移動をさせるようにしてもよい。
本実施形態の車両及び遠隔操作装置を用いた遠隔操作システムの概要構成を表した説明図である。 本実施形態の車両についての遠隔操作システム構成を表した説明図である。 本実施形態のリモコン装置についてのシステム構成を表した説明図である。 車両遠隔操作処理の動作について表したフローチャートである。 車両とリモコン装置の位置と、表示される車両画像の向きとの関係を表した説明図である。 変換テーブルの一例を表した説明図である。 遠隔操作時における信号波の状況の一例を示した説明図である。 第2実施形態に示す遠隔操作システムの概要構成図である。 第2実施形態に示す車両についての遠隔操作システム構成図である。 車両遠隔操作処理の動作について表したフローチャートである。
符号の説明
10 車両
20 リモコン装置
21 送受信部
22 シリアル通信信号処理部
23 ディスプレイ
24 ディスプレイコントローラ
25 操作デバイス
26 操作デバイス信号処理部
27 ECU
28 ROM
29 バス
30 カメラ
31 カメラI/F
32 画像信号処理部
40a〜d センサ
41 シリアル通信信号処理部
42 ECU
43 ROM
44 シリアルI/F
45 バス
46 車両信号処理部
50a〜d コードマーク
60a〜d 画像センサ
251 方向キー

Claims (12)

  1. 遠隔操作により車両の移動を指示する遠隔操作装置であって、
    前記車両の移動に関する操作情報を入力する入力手段と、
    前記入力された操作情報を前記車両に送信する送信手段と、
    前記車両と自装置との関係が、操作者が安全確認可能な条件を満たしているか否かを判断する判断手段と、
    前記判断手段で前記安全確認可能な条件を満たしていないと判断された場合に、前記車両に対する遠隔操作を禁止する禁止手段と、
    を具備したことを特徴とする遠隔操作装置。
  2. 前記判断手段は、前記車両から所定距離の範囲内に自装置が存在しているか否かを判断し、
    前記禁止手段は、前記判断手段で前記所定距離範囲内に存在していないと判断された場合に、前記車両に対する遠隔操作を禁止する、
    ことを特徴とする請求項1に記載の遠隔操作装置。
  3. 車両に配設された所定のマークを撮像する撮像手段を備え、
    前記判断手段は、前記撮像した画像における前記マークの状態に基づいて、前記車両から所定距離の範囲内に存在しているか否かを判断する、
    ことを特徴とする請求項2に記載の遠隔操作装置。
  4. 前記撮像手段で撮像するマークは所定のコードで構成され、
    前記撮像手段による撮像画像から前記コードを認識する認識手段を備え、
    前記判断手段は、前記認識手段でコードを認識可能な場合に、前記車両から所定距離の範囲内に存在していると判断する、
    ことを特徴とする請求項3に記載の遠隔操作装置。
  5. 前記撮像手段で撮像するマークは前記車両を識別する識別情報を含み、
    前記判断手段は、前記認識手段で認識した識別情報が、予め登録された識別情報と一致する場合に、前記車両から所定距離の範囲内に存在していると判断する、
    ことを特徴とする請求項3又は請求項4に記載の遠隔操作装置。
  6. 前記撮像手段で撮像するマークは該マークの配設位置を識別する位置情報を含み、
    前記認識判断で認識した位置情報に対応した向きの車両画像を表示する表示手段を備えたことを特徴とする請求項3、請求項4又は請求項5に記載の遠隔操作装置。
  7. 前記入力手段による1回の操作に対応する指定距離を記憶する記憶手段と、
    前記入力手段による操作回数と前記記憶された指定距離とに基づいて、移動距離を算出する算出手段を備え、
    前記送信手段は、前記算出した移動距離の情報を操作情報に含めて車両に送信する、
    ことを特徴とする請求項1から請求項6のうちのいずれか1の請求項に記載の遠隔操作装置。
  8. 遠隔操作装置から送信される操作情報を受信する受信手段と、
    前記受信した操作情報に従って自車両を移動する移動手段と、
    前記遠隔操作装置と自車両との関係が、操作者が安全確認可能な条件を満たしているか否かを判断する判断手段と、
    前記判断手段で、前記安全確認可能な条件を満たしていないと判断した場合に、移動手段による移動を禁止する移動禁止手段と、
    を具備したことを特徴とする車両。
  9. 前記判断手段は、前記遠隔操作装置が自車両から所定距離の範囲内に存在しているか否かを判断し、
    前記禁止手段は、前記判断手段で前記遠隔操作装置が所定距離の範囲内に存在していないと判断した場合に、移動手段による移動を禁止する、
    ことを特徴とする請求項8に記載の車両。
  10. 遠隔操作装置に配設された所定のマークを撮像する撮像手段を備え、
    前記判断手段は、前記撮像した画像における前記マークの状態に基づいて、前記遠隔操作装置が自車両から所定距離の範囲内に存在しているか否かを判断する、
    ことを特徴とする請求項9に記載の車両。
  11. 前記撮像手段で撮像するマークは所定のコードで構成され、
    前記撮像手段による撮像画像から前記コードを認識する認識手段を備え、
    前記判断手段は、前記認識手段でコードを認識可能な場合に、前記遠隔操作装置が自車両から所定距離の範囲内に存在していると判断する、
    ことを特徴とする請求項10に記載の車両。
  12. 前記撮像手段で撮像するマークは前記遠隔操作装置を識別する識別情報を含み、
    前記判断手段は、前記認識手段で認識した識別情報が、予め登録された識別情報と一致する場合に、前記遠隔操作装置が自車両から所定距離の範囲内に存在していると判断する、
    ことを特徴とする請求項10又は請求項11に記載の車両。
JP2006092495A 2006-03-29 2006-03-29 車両及び遠隔操作装置 Active JP4822116B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006092495A JP4822116B2 (ja) 2006-03-29 2006-03-29 車両及び遠隔操作装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006092495A JP4822116B2 (ja) 2006-03-29 2006-03-29 車両及び遠隔操作装置

Publications (2)

Publication Number Publication Date
JP2007265288A true JP2007265288A (ja) 2007-10-11
JP4822116B2 JP4822116B2 (ja) 2011-11-24

Family

ID=38638175

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006092495A Active JP4822116B2 (ja) 2006-03-29 2006-03-29 車両及び遠隔操作装置

Country Status (1)

Country Link
JP (1) JP4822116B2 (ja)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010026774A (ja) * 2008-07-18 2010-02-04 Ihi Corp 移動ロボット装置及び移動ロボットの制御方法
JP2011178263A (ja) * 2010-03-01 2011-09-15 Toyota Motor Corp 車両メンテナンス支援装置
WO2013053776A3 (de) * 2011-10-12 2013-08-29 Bayerische Motoren Werke Aktiengesellschaft Fernbedienung für ein parkassistenzsystem und ein per fernbedienung kontrollierbares parkassistenzsystem
JP2014145604A (ja) * 2013-01-28 2014-08-14 Mitsutoyo Corp 操作システム
JP5848422B1 (ja) * 2014-09-22 2016-01-27 三菱重工業株式会社 車両操作装置、及び車両
CN105339991A (zh) * 2013-06-28 2016-02-17 戴姆勒股份公司 遥控交通工具的功能的方法和装置
JP2016095559A (ja) * 2014-11-12 2016-05-26 パナソニックIpマネジメント株式会社 車両遠隔操作システム、自動運転処理装置及び遠隔操作装置
DE102015200044A1 (de) * 2015-01-06 2016-07-07 Ford Global Technologies, Llc Verfahren und Vorrichtung zur Unterstützung eines Manövriervorganges eines Kraftfahrzeugs
WO2017082388A1 (ja) * 2015-11-11 2017-05-18 パイオニア株式会社 セキュリティ装置、セキュリティ制御方法、プログラム及び記憶媒体
JP2019032797A (ja) * 2017-08-10 2019-02-28 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 移動体、制御方法及び制御プログラム
CN109547970A (zh) * 2017-08-11 2019-03-29 法雷奥舒适驾驶助手公司 用于为机动车辆的远程控制操纵提供安全性的方法
WO2019082388A1 (ja) * 2017-10-27 2019-05-02 日産自動車株式会社 駐車制御方法及び駐車制御装置
CN109814569A (zh) * 2019-02-19 2019-05-28 百度在线网络技术(北京)有限公司 无人车控制方法、装置、设备及计算机可读介质
KR20200032742A (ko) * 2017-08-10 2020-03-26 닛산 지도우샤 가부시키가이샤 주차 제어 방법 및 주차 제어 장치
JP2020160911A (ja) * 2019-03-27 2020-10-01 株式会社豊田自動織機 無人搬送車の操作システム
JP7401422B2 (ja) 2020-11-27 2023-12-19 株式会社クボタ 作業機

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108490949B (zh) * 2018-04-20 2022-02-15 驭势(上海)汽车科技有限公司 一种用于控制停车场内avp车辆的方法与设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004096280A (ja) * 2002-08-30 2004-03-25 Alpine Electronics Inc 電子機器の操作システム及びこれに用いるディスプレイ装置、操作装置
JP2005163522A (ja) * 2003-11-14 2005-06-23 Tokai Rika Co Ltd 車両制御装置、携帯機、車両用遠隔操作システム、車両制御装置の制御方法、及び携帯機の制御方法
JP2006069534A (ja) * 2005-08-29 2006-03-16 Mitsubishi Electric Corp 駐車補助装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004096280A (ja) * 2002-08-30 2004-03-25 Alpine Electronics Inc 電子機器の操作システム及びこれに用いるディスプレイ装置、操作装置
JP2005163522A (ja) * 2003-11-14 2005-06-23 Tokai Rika Co Ltd 車両制御装置、携帯機、車両用遠隔操作システム、車両制御装置の制御方法、及び携帯機の制御方法
JP2006069534A (ja) * 2005-08-29 2006-03-16 Mitsubishi Electric Corp 駐車補助装置

Cited By (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010026774A (ja) * 2008-07-18 2010-02-04 Ihi Corp 移動ロボット装置及び移動ロボットの制御方法
JP2011178263A (ja) * 2010-03-01 2011-09-15 Toyota Motor Corp 車両メンテナンス支援装置
US9946255B2 (en) 2011-10-12 2018-04-17 Bayerische Motoren Werke Aktiengesellschaft Remote control for a parking assistance system and a parking assistance system which can be controlled by remote control
WO2013053776A3 (de) * 2011-10-12 2013-08-29 Bayerische Motoren Werke Aktiengesellschaft Fernbedienung für ein parkassistenzsystem und ein per fernbedienung kontrollierbares parkassistenzsystem
CN103857583A (zh) * 2011-10-12 2014-06-11 宝马股份公司 用于驻车辅助***的遥控器和通过遥控器可控制的驻车辅助***
JP2014145604A (ja) * 2013-01-28 2014-08-14 Mitsutoyo Corp 操作システム
CN105339991A (zh) * 2013-06-28 2016-02-17 戴姆勒股份公司 遥控交通工具的功能的方法和装置
US10002525B2 (en) 2013-06-28 2018-06-19 Daimler Ag Method and device for the remote control of a function of a vehicle
JP2016529767A (ja) * 2013-06-28 2016-09-23 ダイムラー・アクチェンゲゼルシャフトDaimler AG 車両の機能を遠隔制御するための方法および装置
WO2016047433A1 (ja) * 2014-09-22 2016-03-31 三菱重工業株式会社 車両操作装置、及び車両
JP5848422B1 (ja) * 2014-09-22 2016-01-27 三菱重工業株式会社 車両操作装置、及び車両
CN106716279A (zh) * 2014-09-22 2017-05-24 三菱重工业株式会社 车辆操作装置及车辆
JP2016095559A (ja) * 2014-11-12 2016-05-26 パナソニックIpマネジメント株式会社 車両遠隔操作システム、自動運転処理装置及び遠隔操作装置
DE102015200044B4 (de) 2015-01-06 2022-07-07 Ford Global Technologies, Llc Verfahren und Vorrichtung zur Unterstützung eines Manövriervorganges eines Kraftfahrzeugs
US9919703B2 (en) 2015-01-06 2018-03-20 Ford Global Technologies, Llc Method and device for assisting a maneuvering process of a motor vehicle
DE102015200044A1 (de) * 2015-01-06 2016-07-07 Ford Global Technologies, Llc Verfahren und Vorrichtung zur Unterstützung eines Manövriervorganges eines Kraftfahrzeugs
US10857979B2 (en) 2015-11-11 2020-12-08 Pioneer Corporation Security device, security control method, program, and storage medium
JPWO2017082388A1 (ja) * 2015-11-11 2018-08-30 パイオニア株式会社 セキュリティ装置、セキュリティ制御方法、プログラム及び記憶媒体
WO2017082388A1 (ja) * 2015-11-11 2017-05-18 パイオニア株式会社 セキュリティ装置、セキュリティ制御方法、プログラム及び記憶媒体
JP2020091893A (ja) * 2015-11-11 2020-06-11 パイオニア株式会社 セキュリティ装置
JP2019032797A (ja) * 2017-08-10 2019-02-28 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 移動体、制御方法及び制御プログラム
US11091155B2 (en) 2017-08-10 2021-08-17 Nissan Motor Co., Ltd. Parking control method and parking control device
KR20200032742A (ko) * 2017-08-10 2020-03-26 닛산 지도우샤 가부시키가이샤 주차 제어 방법 및 주차 제어 장치
KR102240575B1 (ko) * 2017-08-10 2021-04-16 닛산 지도우샤 가부시키가이샤 주차 제어 방법 및 주차 제어 장치
CN109547970A (zh) * 2017-08-11 2019-03-29 法雷奥舒适驾驶助手公司 用于为机动车辆的远程控制操纵提供安全性的方法
EP3702227A4 (en) * 2017-10-27 2020-11-11 Nissan Motor Co., Ltd. PARKING CONTROL METHOD AND PARKING CONTROL DEVICE
JPWO2019082388A1 (ja) * 2017-10-27 2020-12-24 日産自動車株式会社 駐車制御方法及び駐車制御装置
WO2019082388A1 (ja) * 2017-10-27 2019-05-02 日産自動車株式会社 駐車制御方法及び駐車制御装置
US11772634B2 (en) 2017-10-27 2023-10-03 Nissan Motor Co., Ltd. Parking control method and parking control device
CN109814569A (zh) * 2019-02-19 2019-05-28 百度在线网络技术(北京)有限公司 无人车控制方法、装置、设备及计算机可读介质
KR20220113890A (ko) * 2019-02-19 2022-08-17 아폴로 인텔리전트 드라이빙 테크놀로지(베이징) 컴퍼니 리미티드 무인 자동차 제어 방법, 장치, 설비 및 컴퓨터 판독 가능 매체
KR102531467B1 (ko) * 2019-02-19 2023-05-11 아폴로 인텔리전트 드라이빙 테크놀로지(베이징) 컴퍼니 리미티드 무인 자동차 제어 방법, 장치, 설비 및 컴퓨터 판독 가능 매체
WO2020195456A1 (ja) * 2019-03-27 2020-10-01 株式会社豊田自動織機 無人搬送車の操作システム
JP2020160911A (ja) * 2019-03-27 2020-10-01 株式会社豊田自動織機 無人搬送車の操作システム
EP3951539A4 (en) * 2019-03-27 2022-07-13 Kabushiki Kaisha Toyota Jidoshokki AUTOMATIC GUIDED VEHICLE OPERATING SYSTEM
JP7401422B2 (ja) 2020-11-27 2023-12-19 株式会社クボタ 作業機

Also Published As

Publication number Publication date
JP4822116B2 (ja) 2011-11-24

Similar Documents

Publication Publication Date Title
JP4822116B2 (ja) 車両及び遠隔操作装置
US20180147900A1 (en) Vehicle trailer connect system
JP6816684B2 (ja) 携帯端末、遠隔操作方法
JP4458284B2 (ja) 遠隔操作装置
JP4591835B2 (ja) 車両及び遠隔操作装置
JP5122770B2 (ja) 映像認識の可能な移動体誘導システム
JP5124351B2 (ja) 車両操作システム
US9131123B2 (en) Device for monitoring surroundings of vehicle and method for monitoring surroundings of vehicle
EP2682329A1 (en) Vehicle trailer connect system
JP5976442B2 (ja) 重機周りの接近作業員検知方法及びシステム
US20190286123A1 (en) Remote vehicle control device and remote vehicle control method
CN107415940B (zh) 停车区指示设备、停车辅助***和方法
US11181909B2 (en) Remote vehicle control device, remote vehicle control system, and remote vehicle control method
US11584364B2 (en) Vehicle control device, vehicle, operation method for vehicle control device and storage medium
US20180157270A1 (en) Vision System for Vehicle Docking
JP2006139525A (ja) 自律移動型ロボット
US20190286118A1 (en) Remote vehicle control device and remote vehicle control method
JP2022028062A (ja) 非常停止スイッチ、及びロボットシステム
US11372401B2 (en) Vehicle control apparatus
JP2010069922A (ja) 車線認識装置
US20130063598A1 (en) Rearview mirror
JP4111959B2 (ja) 距離計測システム
JP6992707B2 (ja) 駐車支援装置
JP2005198160A (ja) 車両周辺撮像装置
CN112997191A (zh) 驾驶员图像采集的方法和装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090224

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110209

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110218

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110418

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110812

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110825

R150 Certificate of patent or registration of utility model

Ref document number: 4822116

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140916

Year of fee payment: 3

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250