JP7126995B2 - 運転支援方法、設備、無人運転設備及び読み取り可能な記憶媒体 - Google Patents

運転支援方法、設備、無人運転設備及び読み取り可能な記憶媒体 Download PDF

Info

Publication number
JP7126995B2
JP7126995B2 JP2019127347A JP2019127347A JP7126995B2 JP 7126995 B2 JP7126995 B2 JP 7126995B2 JP 2019127347 A JP2019127347 A JP 2019127347A JP 2019127347 A JP2019127347 A JP 2019127347A JP 7126995 B2 JP7126995 B2 JP 7126995B2
Authority
JP
Japan
Prior art keywords
equipment
unmanned
scene
environment
parameters
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019127347A
Other languages
English (en)
Other versions
JP2020042780A (ja
Inventor
ユーハン チェン、
Original Assignee
アポロ インテリジェント ドライビング テクノロジー（ペキン）カンパニー リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by アポロ インテリジェント ドライビング テクノロジー（ペキン）カンパニー リミテッド filed Critical アポロ インテリジェント ドライビング テクノロジー（ペキン）カンパニー リミテッド
Publication of JP2020042780A publication Critical patent/JP2020042780A/ja
Application granted granted Critical
Publication of JP7126995B2 publication Critical patent/JP7126995B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0044—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with a computer generated representation of the environment of the vehicle, e.g. virtual reality, maps
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00—Type of UAV
    • B64U10/10—Rotorcrafts
    • B64U10/13—Flying platforms
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0022—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement characterised by the communication link
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/10—UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Selective Calling Equipment (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)

Description

本発明は、自動運転技術に関し、より詳しくは、運転支援方法、設備、無人運転設備及び読み取り可能な記憶媒体に関する。
科学技術の発展と社会の進歩に伴い、自動運転技術は交通分野において発展の方向性となっている。無人運転設備が自動運転タスクを実行する過程で、複雑な地形又は複雑な道路状況に遭遇する場合、自動運転タスクの実行を継続できないという問題が生じやすい。この時、無人運転設備は自動運転の遠隔支援機能をトリガする。
自動運転を遠隔支援する過程で、ユーザは、遠隔設置されている自動運転支援設備を通じて、無人車に対し自動運転の遠隔支援を行うことができる。従来技術において、当該自動運転支援設備はフラットパネルディスプレイによりユーザに無人運転設備が置かれたシーンを表示している。しかしながら、平面的な映像と画像だけでは、ユーザは無人運転設備と周辺障害物との間の距離を感知することが難しく、またシーンへの没入感がなく実際の環境を感知できないため、ユーザは誤った遠隔運転支援コマンドをトリガして、無人運転設備の運転の安全性が損なわれることが生じやすい。
自動運転を遠隔支援する過程で、ユーザが無人運転設備と周辺障害物との間の距離を取得するには平面的な映像と画像しか利用できず、シーンへの没入感がなく実際の環境を感知できないため、誤った遠隔運転支援コマンドをトリガして、無人運転設備の運転の安全性が損なわれることが生じやすいという上記従来の技術的課題に対し、本発明は運転支援方法、設備、無人運転設備及び読み取り可能な記憶媒体を提供する。
本発明の一つの態様として、運転支援方法を提供し、当該方法は、
無人運転設備が自動運転の遠隔支援機能をトリガした場合、前記無人運転設備が収集したシーン情報を受信することと、
前記シーン情報に対し処理を行って、ＶＲシーンを生成することと、
ユーザが前記ＶＲシーンに基づき遠隔運転支援操作をトリガできるように、ユーザに前記ＶＲシーンを表示し、ただし、前記遠隔運転支援操作は前記無人運転設備が運転操作を実行するよう制御するために用いられることと、を含む。
一つの選択可能な実施形態において、前記シーン情報には無人運転設備のその時点の環境における複数の環境角度の画像情報が含まれており、ただし、前記複数の環境角度の画像情報は前記無人運転設備が同一時刻に収集して取得したものであり、
対応するように、前記シーン情報に対し処理を行って、ＶＲシーンを生成することは、
画像情報のそれぞれに対応する環境角度に基づき、合成してその時点の環境の環境画像情報を取得することと、
前記環境画像情報に対しビジュアル画像処理を行って、左目環境画像情報及び右目環境画像情報を含むＶＲシーンを取得することと、を含む。
一つの選択可能な実施形態において、前記シーン情報は無人運転設備のその時点の環境における複数の環境角度の映像情報を含み、
対応するように、前記シーン情報に対し処理を行って、ＶＲシーンを生成することは、
複数の環境角度の映像情報に対しフレーミング処理を行って、同一フレームに対応する複数の環境角度の画像データを取得することと、
フレームごとの複数の環境角度の画像データに対しビジュアル画像処理を行って、フレームごとの左目環境画像データ及び右目環境画像データを取得することと、
フレームごとの左目環境画像データ及び右目環境画像データに基づき、ＶＲシーンを取得することと、を含む。
一つの選択可能な実施形態において、前記ユーザに前記ＶＲシーンを表示した後に、
ユーザがトリガした遠隔運転支援操作を受信することと、
前記無人運転設備が操作コマンドに基づき運転操作を実行できるように、前記遠隔運転支援操作に基づき対応する前記操作コマンドを生成するとともに、前記無人運転設備に送信することとをさらに含む。
一つの選択可能な実施形態において、無人運転設備が自動運転の遠隔支援機能をトリガした場合、前記運転支援方法は、
前記無人運転設備のその時点の設定パラメータ、無人運転設備の動作パラメータ、及び無人運転設備が置かれた環境の測定パラメータのうちの少なくとも１つを受信することと、
ユーザに前記ＶＲシーンを表示すると同時に、前記無人運転設備のその時点の設定パラメータ、無人運転設備の動作パラメータ、及び無人運転設備が置かれた環境の測定パラメータのうちの少なくとも１つを表示することとをさらに含む。
一つの選択可能な実施形態において、前記無人運転設備が５Ｇ移動通信ネットワークにより送信するシーン情報を受信する。
本発明のもう一つの態様として、運転支援方法を提供し、当該方法は、
遠隔自動運転機能をトリガする場合、シーン情報を収集することと、
運転支援設備が前記シーン情報に対し処理を行って、ＶＲシーンを生成するとともに、ユーザに前記ＶＲシーンを表示できるように、前記シーン情報を運転支援設備に送信することと、を含む。
一つの選択可能な実施形態において、前記シーン情報を運転支援設備に送信した後に、
運転支援設備が返す遠隔運転支援操作コマンドを受信して実行することをさらに含み、ただし前記遠隔運転支援操作コマンドはユーザが前記ＶＲシーンに基づきトリガしたものである。
本発明のもう一つの態様として、運転支援設備をさらに提供し、当該設備は、
無人運転設備が自動運転の遠隔支援機能をトリガした場合、前記無人運転設備が収集したシーン情報を受信するために用いられる通信ユニットと、
前記シーン情報に対し処理を行って、ＶＲシーンを生成するために用いられるＶＲシーン生成ユニットと、
ユーザが前記ＶＲシーンに基づき遠隔運転支援操作をトリガできるように、ユーザに前記ＶＲシーンを表示するために用いられ、ただし、前記遠隔運転支援操作は前記無人運転設備が運転操作を実行するよう制御するために用いられるＶＲシーン対話ユニットと、を含む。
一つの選択可能な実施形態において、前記シーン情報には無人運転設備のその時点の環境における複数の環境角度の画像情報が含まれており、ただし、前記複数の環境角度の画像情報は前記無人運転設備が同一時刻に収集して取得したものであり、
ＶＲシーン生成ユニットは、具体的に、
画像情報のそれぞれに対応する環境角度に基づき、合成してその時点の環境の環境画像情報を取得し、
前記環境画像情報に対しビジュアル画像処理を行って、左目環境画像情報及び右目環境画像情報を含むＶＲシーンを取得するために用いられる。
一つの選択可能な実施形態において、前記シーン情報は無人運転設備のその時点の環境における複数の環境角度の映像情報を含み、
ＶＲシーン生成ユニットは、具体的に、
複数の環境角度の映像情報に対しフレーミング処理を行って、同一フレームに対応する複数の環境角度の画像データを取得し、
フレームごとの複数の環境角度の画像データに対しビジュアル画像処理を行って、フレームごとの左目環境画像データ及び右目環境画像データを取得し、
フレームごとの左目環境画像データ及び右目環境画像データに基づき、ＶＲシーンを取得するために用いられる。
一つの選択可能な実施形態において、操作コマンド生成ユニットをさらに含み、
前記ＶＲシーン対話ユニットは、ユーザに前記ＶＲシーンを表示した後、ユーザがトリガした遠隔運転支援操作を受信するために用いられ、
前記操作コマンド生成ユニットは前記遠隔運転支援操作に基づき対応する操作コマンドを生成して、前記通信ユニットは前記操作コマンドを前記無人運転設備に送信し、ただし、前記操作コマンドは前記無人運転設備が運転操作を実行するために用いられる。
一つの選択可能な実施形態において、前記通信ユニットは、前記無人運転設備のその時点の設定パラメータ、無人運転設備の動作パラメータ、及び無人運転設備が置かれた環境の測定パラメータのうちの少なくとも１つを受信するためにも用いられ、
前記ＶＲシーン対話ユニットは、ユーザに前記ＶＲシーンを表示すると同時に、前記無人運転設備のその時点の設定パラメータ、無人運転設備の動作パラメータ、及び無人運転設備が置かれた環境の測定パラメータのうちの少なくとも１つを表示するためにも用いられる。
一つの選択可能な実施形態において、前記通信ユニットは具体的に、前記無人運転設備が５Ｇ移動通信ネットワークにより送信するシーン情報を受信するために用いられる。
本発明のさらにもう一つの態様として、無人運転設備を提供し、当該設備は、
遠隔自動運転機能をトリガする場合、シーン情報を収集するために用いられる収集ユニットと、
運転支援設備が前記シーン情報に対し処理を行って、ＶＲシーンを生成するとともに、ユーザに前記ＶＲシーンを表示できるように、前記シーン情報を運転支援設備に送信するために用いられる送受信ユニットと、を含む。
一つの選択可能な実施形態において、実行ユニットをさらに含み、
前記送受信ユニットは、運転支援設備が返す遠隔運転支援操作コマンドを受信するためにも用いられ、ただし前記遠隔運転支援操作コマンドはユーザが前記ＶＲシーンに基づきトリガしたものであり、
前記実行ユニットは、前記遠隔運転支援操作コマンドを実行するために用いられる。
本発明のさらにもう一つの態様として、表示機器と、メモリと、前記メモリに接続されるプロセッサと、前記メモリに記憶されて前記プロセッサにおいて実行可能なコンピュータプログラムとを含む運転支援設備を提供し、当該設備において、
前記プロセッサは前記コンピュータプログラムを実行させる時、上記いずれか一つの態様に記載の方法を実行し、
前記表示機器は前記メモリ及び前記プロセッサに接続され、ＶＲ技術を利用してユーザにＶＲシーンを表示することを特徴とする。
本発明のさらにもう一つの態様として、メモリと、前記メモリに接続されるプロセッサと、前記メモリに記憶されて前記プロセッサにおいて実行可能なコンピュータプログラムとを含む無人運転設備を提供し、当該設備において、
前記プロセッサは前記コンピュータプログラムを実行させる時、上記方法を実行することを特徴とする。
本発明のさらにもう一つの態様として、読み取り可能な記憶媒体を提供し、当該媒体は、端末において実行させられる時、当該端末に上記方法を実行させるためのプログラムを含むことを特徴とする。
本発明の最後の一つの態様として、読み取り可能な記憶媒体を提供し、当該媒体は、端末において実行させられる時、当該端末に上記いずれか一つの態様に記載の方法を実行させるためのプログラムを含む。
本発明に係る運転支援方法、設備、無人運転設備及び読み取り可能な記憶媒体は、無人運転設備が自動運転の遠隔支援機能をトリガした場合、前記無人運転設備が収集したシーン情報を受信し、次に、前記シーン情報に対し処理を行って、ＶＲシーンを生成し、さらに、ユーザが前記ＶＲシーンに基づき遠隔運転支援操作をトリガできるように、ユーザに前記ＶＲシーンを表示し、ただし、前記遠隔運転支援操作は前記無人運転設備が運転操作を実行するよう制御するために用いられるように構成される。これにより、無人運転設備が置かれた環境のＶＲシーンをユーザに提供して、ユーザのシーンへの没入感及び実際の環境に対する感知を効果的に向上させ、正確な遠隔運転支援コマンドをトリガして、無人運転設備の運転の安全性を確保することを可能にする。
以下、関連する各図により明確に開示されている本願の実施例を、詳細に説明する。これらの図及び文字による説明は、何らかの形で本願の範囲を限定するためのものではなく、特定の実施例を参照して当業者向け本願の主旨を説明するためのものに過ぎない。
図１は、本発明が係るネットワークアーキテクチャを概略的に示す図である。 図２は、本発明の実施例１に係る運転支援方法のプロセスを概略的に示す図である。 図３は、本発明の実施例２に係る運転支援方法のプロセスを概略的に示す図である。 図４は、本発明の実施例３に係る運転支援方法のプロセスを概略的に示す図である。 図５は、本発明の実施例４に係る運転支援方法のプロセスを概略的に示す図である。 図６は、本発明の実施例５に係る運転支援設備の構造を概略的に示す図である。 図７は、本発明の実施例６に係る無人運転設備の構造を概略的に示す図である。 図８は、本発明の実施例７に係る運転支援設備のハードウェア構成を概略的に示す図である。 図９は、本発明の実施例８に係る無人運転設備のハードウェア構成を概略的に示す図である。
ここに説明されている各図は、本明細書の一部として本明細書に組み込まれ、本願に係る実施例を説明するとともに、本明細書と共に本願の原理を解釈するために用いられる。
本発明の実施例の目的、技術的解決手段及びその利点をより明瞭にするため、以下、本発明の実施例の各図を参照しながら、本発明の実施例に係る技術的解決手段を明瞭且つ完全に説明する。
科学技術の発展と社会の進歩に伴い、自動運転技術は交通分野において発展の方向性となっている。無人運転設備が自動運転タスクを実行する過程で、複雑な地形又は複雑な道路状況に遭遇する場合、自動運転タスクの実行を継続できないという問題が生じやすい。この時、無人運転設備は自動運転の遠隔支援機能をトリガする。
自動運転を遠隔支援する過程で、ユーザは、遠隔設置されている自動運転支援設備を通じて、無人車に対し自動運転の遠隔支援を行うことができる。従来技術において、当該自動運転支援設備はフラットパネルディスプレイによりユーザに無人運転設備が置かれたシーンを表示している。しかしながら、平面的な映像と画像だけでは、ユーザは無人運転設備と周辺障害物との間の距離を感知することが難しく、またシーンへの没入感がなく実際の環境を感知できないため、ユーザは誤った遠隔運転支援コマンドをトリガして、無人運転設備の運転中安全性が損なわれることが生じやすい。
自動運転を遠隔支援する過程で、ユーザが無人運転設備と周辺障害物との間の距離を取得するには平面的な映像と画像しか利用できず、シーンへの没入感がなく実際の環境を感知できないため、誤った遠隔運転支援コマンドをトリガして、無人運転設備の運転の安全性が損なわれることが生じやすいという従来の技術的課題に対し、本発明は運転支援方法、設備及び読み取り可能な記憶媒体を提供する。なお、本願に係る運転支援方法、設備及び読み取り可能な記憶媒体は、無人運転設備に対し遠隔運転支援を行うことが必要なシーンに幅広く用いることができ、これらの適用シーンは、無人自動車、無人機等移動型の無人設備が自動運転タスクを実行するシーンや、作業用ロボット、メンテナンス用ロボットが作業現場又はメンテナンス現場で作業タスクを実行するシーン等を含むが、これらに限定されない。
図１は、本発明が係るネットワークアーキテクチャを概略的に示す図であり、図１に示すとおり、本発明が係るネットワークアーキテクチャにおいて、少なくとも無人運転設備１と、運転支援設備２とを含む。ただし、無人運転設備１は、無人自動車、無人機等自動運転タスクを実行可能な移動型の有人又は無人設備を含むが、これらに限定されず、また無人運転設備１は、作業用ロボット、メンテナンス用ロボット、消火用ロボット等作業タスクを実行するために用いられる移動設備をさらに含むが、これらにも限定されない。運転支援設備２は、具体的に、ハードウェア／ソフトウェア構造からなってもよく、そのデータの交換及び処理には、具体的に、サーバクラスタにおけるそれぞれのサーバを利用することができ、そのシーンの表示及び対話は、具体的に、エンティティとしての対話設備及び表示機器を利用することができる。
図２は、本発明の実施例１に係る運転支援方法のプロセスを概略的に示す図である。
図２に示すとおり、当該運転支援方法は、ステップ１０１～ステップ１０３を含み、
ステップ１０１において、無人運転設備が自動運転の遠隔支援機能をトリガした場合、前記無人運転設備が収集したシーン情報を受信する。
ステップ１０２において、前記シーン情報に対し処理を行って、ＶＲシーンを生成する。
ステップ１０３において、ユーザが前記ＶＲシーンに基づき遠隔運転支援操作をトリガできるように、ユーザに前記ＶＲシーンを表示し、ただし、前記遠隔運転支援操作は前記無人運転設備が運転操作を実行するよう制御するために用いられる。
本発明の実施例１は運転支援方法を提供し、その実行主体は運転支援設備である。以下言及されている仮想現実（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ、略称ＶＲ）シーンとは、具体的に、ＶＲ技術を利用して構築されるシーンを指すものであり、当該ＶＲシーンはユーザが視聴できるように、ＶＲ表示機器により表示してもよい。
具体的には、無人運転設備は所定の運転ルート、運転策略又は運転モードに従って自動運転タスクを実行し、複雑な地形又は複雑な道路状況等、自らの力で解决できない問題に遭遇する場合、自動運転の遠隔支援機能をトリガする。ただし、当該無人運転設備が自動運転の遠隔支援機能をトリガするトリガ条件として、従来技術を採用してもよく、本願ではこれについて限定しない。
無人運転設備は自動運転の遠隔支援機能をトリガする場合、運転支援設備に対し自動運転の遠隔支援要求を開始すると同時に、その時点で収集したシーン情報も運転支援設備に送信して、当該運転支援設備はこれを受信して処理する。ただし、無人運転設備が５Ｇ移動通信ネットワークにより送信するシーン情報が受信される。
次に、運転支援設備は受信されるシーン情報に対し処理を行って、対応するＶＲシーンを生成する。さらに、ユーザが前記ＶＲシーンに基づき遠隔運転支援操作をトリガできるように、ユーザに前記ＶＲシーンを表示し、ただし、前記遠隔運転支援操作は前記無人運転設備が運転操作を実行するよう制御するために用いられる。
すなわち、運転支援設備は無人運転設備が自動運転の遠隔支援機能をトリガした場合、無人運転設備により収集されたその時無人運転設備が置かれたシーンのシーン情報を受信する。ただしシーン情報は無人運転設備を中心として多角度で撮影した画像情報又は映像情報を含んでもよいが、これらに限定されない。運転支援設備はこれらのシーン情報に対し処理を行って、無人運転設備が置かれたシーンのＶＲシーンを作成する。ユーザは無人運転設備が対応する運転操作を実行して、困難から脱出できるように、運転支援設備によりＶＲシーンを取得するとともに、取得されたＶＲシーンに基づき遠隔運転支援操作をトリガしてもよい。
従来技術との相違点は、ユーザが無人運転設備が置かれた環境のＶＲシーンの映像を直接視聴できるようにＶＲ技術を利用しており、そのシーンの再現度が極めて高いことにある。ユーザが平面的な映像と画像だけにより無人運転設備が置かれた環境を取得するという従来の方式と比べて、ユーザは実際のシーンにより近い情報取得を体験できるため、ユーザが意思決定を行って無人運転設備に正確な遠隔運転支援コマンドを発することを可能にし、無人運転設備の運転の安全性を向上させる。
好ましくは、本実施形態において、ユーザに前記ＶＲシーンを表示した後に、ユーザがトリガした遠隔運転支援操作を受信することと、前記無人運転設備が操作コマンドに基づき運転操作を実行できるように、前記遠隔運転支援操作に基づき対応する前記操作コマンドを生成するとともに、前記無人運転設備に送信することとをさらに含む。ただし、遠隔運転支援操作は無人運転設備が置かれた環境に適合するものであり、その具体例として、操舵操作、ブレーキ操作、システムチェック操作、加速操作、飛び上がり操作等が挙げられる。
好ましくは、本実施形態において、無人運転設備が自動運転の遠隔支援機能をトリガした場合、前記運転支援方法は、前記無人運転設備のその時点の設定パラメータ、無人運転設備の動作パラメータ、及び無人運転設備が置かれた環境の測定パラメータのうちの少なくとも１つを受信することと、ユーザに前記ＶＲシーンを表示すると同時に、前記無人運転設備のその時点の設定パラメータ、無人運転設備の動作パラメータ、及び無人運転設備が置かれた環境の測定パラメータのうちの少なくとも１つを表示することとをさらに含む。
具体的には、ユーザにより完全で詳細な環境情報を提供して、ユーザが意思決定を行いやすくするために、本実施形態において、無人運転設備が自動運転の遠隔支援機能をトリガした場合、運転支援設備は無人運転設備が送信する無人運転設備のその時点の設定パラメータ、無人運転設備の動作パラメータ、及び無人運転設備が置かれた環境の測定パラメータのうちの少なくとも１つを受信するとともに、ＶＲシーンにおいてこれらのパラメータを同期して表示する。ただし無人運転設備のその時点の設定パラメータは、無人運転設備の型番、自動運転モード、その時点実行されているタスク等を含むが、これらに限定されず、無人運転設備の動作パラメータは、無人運転設備の速度、加速度、車載処理の動作状態、車体の傾斜度等を含むが、これらに限定されず、無人運転設備が置かれた環境の測定パラメータは、無人運転設備が置かれた環境における障害物のそれぞれと当該無人運転設備との間の距離、無人運転設備が置かれた環境の天気パラメータ、無人運転設備が置かれた環境の地面又は地形状態等を含むが、これらに限定されない。
本発明に係る運転支援方法は、無人運転設備が自動運転の遠隔支援機能をトリガした場合、前記無人運転設備が収集したシーン情報を受信し、次に、前記シーン情報に対し処理を行って、ＶＲシーンを生成し、さらに、ユーザが前記ＶＲシーンに基づき遠隔運転支援操作をトリガできるように、ユーザに前記ＶＲシーンを表示し、ただし、前記遠隔運転支援操作は前記無人運転設備が運転操作を実行するよう制御するために用いられるように構成される。これにより、無人運転設備が置かれた環境のＶＲシーンをユーザに提供して、ユーザのシーンへの没入感及び実際の環境に対する感知を効果的に向上させ、正確な遠隔運転支援コマンドをトリガして、無人運転設備の運転の安全性を確保することを可能にする。
以下、本発明に係る運転支援方法を、実施例１をベースにしてさらに説明し、図３は、本発明の実施例２に係る運転支援方法のプロセスを概略的に示す図である。
図３に示すとおり、当該運転支援方法は、ステップ２０１～ステップ２０４を含み、
ステップ２０１において、無人運転設備が自動運転の遠隔支援機能をトリガした場合、前記無人運転設備が収集したシーン情報を受信し、ただし前記シーン情報には無人運転設備のその時点の環境における複数の環境角度の画像情報が含まれる。ただし、前記複数の環境角度の画像情報は前記無人運転設備が同一時刻に収集して取得したものである。
ステップ２０２において、画像情報のそれぞれに対応する環境角度に基づき、合成してその時点の環境の環境画像情報を取得する。
ステップ２０３において、前記環境画像情報に対しビジュアル画像処理を行って、左目環境画像情報及び右目環境画像情報を含むＶＲシーンを取得する。
ステップ２０４において、ユーザが前記ＶＲシーンに基づき遠隔運転支援操作をトリガできるように、ユーザに前記ＶＲシーンを表示し、ただし、前記遠隔運転支援操作は前記無人運転設備が運転操作を実行するよう制御するために用いられる。
実施例１と同じく、本発明の実施例２は運転支援方法を提供し、その実行主体は運転支援設備である。ただし、仮想現実（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ、略称ＶＲ）シーンとは、具体的に、ＶＲ技術を利用して構築されるシーンを指すものであり、当該ＶＲシーンはユーザが視聴できるように、ＶＲ表示機器により表示してもよい。
具体的には、無人運転設備は所定の運転ルート、運転策略又は運転モードに従って自動運転タスクを実行し、複雑な地形又は複雑な道路状況等、自らの力で解决できない問題に遭遇する場合、自動運転の遠隔支援機能をトリガする。ただし、当該無人運転設備が自動運転の遠隔支援機能をトリガするトリガ条件として、従来技術を採用してもよく、本願ではこれについて限定しない。
無人運転設備は自動運転の遠隔支援機能をトリガする場合、運転支援設備に対し自動運転の遠隔支援要求を開始すると同時に、その時点で収集したシーン情報も運転支援設備に送信して、当該運転支援設備はこれを受信して処理する。ただし、無人運転設備が５Ｇ移動通信ネットワークにより送信するシーン情報が受信される。
実施例１との相違点として、本発明の実施例２において、シーン情報は無人運転設備のその時点の環境における複数の環境角度の画像情報を含み、ただし、前記複数の環境角度の画像情報は前記無人運転設備が同一時刻に収集して取得したものである。
すなわち、無人運転設備には複数の収集角度の画像収集機器が設けられてもよく、これらの画像収集機器は当該無人運転設備の複数の環境角度の画像情報を同期して収集することができる。運転支援設備は複数の環境角度の画像情報を取得した後、画像情報のそれぞれに対応する環境角度に基づき、合成してその時点の環境の環境画像情報を取得してもよい。次に、合成して得られた環境画像情報に対しビジュアル画像処理を行って、左目環境画像情報及び右目環境画像情報を含むＶＲシーンを取得する。
最後に、ユーザが前記ＶＲシーンに基づき遠隔運転支援操作をトリガできるように、ユーザに前記ＶＲシーンを表示し、ただし、前記遠隔運転支援操作は前記無人運転設備が運転操作を実行するよう制御するために用いられる。
好ましくは、本実施形態において、ユーザに前記ＶＲシーンを表示した後に、ユーザがトリガした遠隔運転支援操作を受信することと、前記無人運転設備が操作コマンドに基づき運転操作を実行できるように、前記遠隔運転支援操作に基づき対応する前記操作コマンドを生成するとともに、前記無人運転設備に送信することとをさらに含む。ただし、遠隔運転支援操作は無人運転設備が置かれた環境に適合するものであり、その具体例として、操舵操作、ブレーキ操作、システムチェック操作、加速操作、飛び上がり操作等が挙げられる。
好ましくは、本実施形態において、無人運転設備が自動運転の遠隔支援機能をトリガした場合、前記運転支援方法は、前記無人運転設備のその時点の設定パラメータ、無人運転設備の動作パラメータ、及び無人運転設備が置かれた環境の測定パラメータのうちの少なくとも１つを受信することと、ユーザに前記ＶＲシーンを表示すると同時に、前記無人運転設備のその時点の設定パラメータ、無人運転設備の動作パラメータ、及び無人運転設備が置かれた環境の測定パラメータのうちの少なくとも１つを表示することとをさらに含む。
具体的には、ユーザにより完全で詳細な環境情報を提供して、ユーザが意思決定を行いやすくするために、本実施形態において、無人運転設備が自動運転の遠隔支援機能をトリガした場合、運転支援設備は無人運転設備が送信する無人運転設備のその時点の設定パラメータ、無人運転設備の動作パラメータ、及び無人運転設備が置かれた環境の測定パラメータのうちの少なくとも１つを受信するとともに、ＶＲシーンにおいてこれらのパラメータを同期して表示する。ただし無人運転設備のその時点の設定パラメータは、無人運転設備の型番、自動運転モード、その時点実行されているタスク等を含むが、これらに限定されず、無人運転設備の動作パラメータは、無人運転設備の速度、加速度、車載処理の動作状態、車体の傾斜度等を含むが、これらに限定されず、無人運転設備が置かれた環境の測定パラメータは、無人運転設備が置かれた環境における障害物のそれぞれと当該無人運転設備との間の距離、無人運転設備が置かれた環境の天気パラメータ、無人運転設備が置かれた環境の地面又は地形状態等を含むが、これらに限定されない。
本発明に係る運転支援方法は、無人運転設備が自動運転の遠隔支援機能をトリガした場合、前記無人運転設備が収集したシーン情報を受信し、次に、前記シーン情報に対し処理を行って、ＶＲシーンを生成し、さらに、ユーザが前記ＶＲシーンに基づき遠隔運転支援操作をトリガできるように、ユーザに前記ＶＲシーンを表示し、ただし、前記遠隔運転支援操作は前記無人運転設備が運転操作を実行するよう制御するために用いられるように構成される。これにより、無人運転設備が置かれた環境のＶＲシーンをユーザに提供して、ユーザのシーンへの没入感及び実際の環境に対する感知を効果的に向上させ、正確な遠隔運転支援コマンドをトリガして、無人運転設備の運転の安全性を確保することを可能にする。
実施例１をベースにして、図４は、本発明の実施例４に係る運転支援方法のプロセスを概略的に示す図である。
図４に示すとおり、当該運転支援方法は、ステップ３０１～ステップ３０５を含み、
ステップ３０１において、無人運転設備が自動運転の遠隔支援機能をトリガした場合、前記無人運転設備が収集したシーン情報を受信し、ただし前記シーン情報は無人運転設備のその時点の環境における複数の環境角度の映像情報を含む。
ステップ３０２において、複数の環境角度の映像情報に対しフレーミング処理を行って、同一フレームに対応する複数の環境角度の画像データを取得する。
ステップ３０３において、フレームごとの複数の環境角度の画像データに対しビジュアル画像処理を行って、フレームごとの左目環境画像データ及び右目環境画像データを取得する。
ステップ３０４において、フレームごとの左目環境画像データ及び右目環境画像データに基づき、ＶＲシーンを取得する。
ステップ３０５において、ユーザが前記ＶＲシーンに基づき遠隔運転支援操作をトリガできるように、ユーザに前記ＶＲシーンを表示し、ただし、前記遠隔運転支援操作は前記無人運転設備が運転操作を実行するよう制御するために用いられる。
実施例１と同じく、本発明の実施例３は運転支援方法を提供し、その実行主体は運転支援設備である。ただし、仮想現実（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ、略称ＶＲ）シーンとは、具体的に、ＶＲ技術を利用して構築されるシーンを指すものであり、当該ＶＲシーンはユーザが視聴できるように、ＶＲ表示機器により表示してもよい。
具体的には、無人運転設備は所定の運転ルート、運転策略又は運転モードに従って自動運転タスクを実行し、複雑な地形又は複雑な道路状況等、自らの力で解决できない問題に遭遇する場合、自動運転の遠隔支援機能をトリガする。ただし、当該無人運転設備が自動運転の遠隔支援機能をトリガするトリガ条件として、従来技術を採用してもよく、本願ではこれについて限定しない。
無人運転設備は自動運転の遠隔支援機能をトリガすう場合、運転支援設備に対し自動運転の遠隔支援要求を開始すると同時に、その時点で収集したシーン情報も運転支援設備に送信して、当該運転支援設備はこれを受信して処理する。ただし、無人運転設備が５Ｇ移動通信ネットワークにより送信するシーン情報が受信される。
実施例１との相違点として、本発明の実施例３において、無人運転設備のその時点の環境における複数の環境角度の映像情報である。
すなわち、無人運転設備には、複数の収集角度の映像収集機器が設けられてもよく、これらの映像収集機器は当該無人運転設備の複数の環境角度の映像情報を同期して収集することができる。運転支援機器は複数の環境角度の映像情報を取得した後、これらの映像情報に対しフレーミング処理を行って、同一フレームに対応する複数の環境角度の画像データを取得してもよい。次に、フレームごとの左目環境画像データ及び右目環境画像データに基づき、ＶＲシーンを取得するように、フレームごとの複数の環境角度の画像データに対しビジュアル画像処理を行って、フレームごとの左目環境画像データ及び右目環境画像データを取得する。
実施例２が係る画像情報との相違点として、本発明の実施例３において、シーン情報は映像情報を含むため、ＶＲシーンを生成する時、まず映像情報に対しフレーミング処理を行って、フレームごとの画像データを取得してから、同一フレームの複数の画像データに対しビジュアル画像処理を行うことにより、最終的にＶＲシーンの画像を生成する必要があり、
最後に、ユーザが前記ＶＲシーンに基づき遠隔運転支援操作をトリガできるように、ユーザに前記ＶＲシーンを表示し、ただし、前記遠隔運転支援操作は前記無人運転設備が運転操作を実行するよう制御するために用いられる。
好ましくは、本実施形態において、ユーザに前記ＶＲシーンを表示した後に、ユーザがトリガした遠隔運転支援操作を受信することと、前記無人運転設備が操作コマンドに基づき運転操作を実行できるように、前記遠隔運転支援操作に基づき対応する前記操作コマンドを生成するとともに、前記無人運転設備に送信することとをさらに含む。ただし、遠隔運転支援操作は無人運転設備が置かれた環境に適合するものであり、その具体例として、操舵操作、ブレーキ操作、システムチェック操作、加速操作、飛び上がり操作等が挙げられる。
好ましくは、本実施形態において、無人運転設備が自動運転の遠隔支援機能をトリガした場合、前記運転支援方法は、前記無人運転設備のその時点の設定パラメータ、無人運転設備の動作パラメータ、及び無人運転設備が置かれた環境の測定パラメータのうちの少なくとも１つを受信することと、ユーザに前記ＶＲシーンを表示すると同時に、前記無人運転設備のその時点の設定パラメータ、無人運転設備の動作パラメータ、及び無人運転設備が置かれた環境の測定パラメータのうちの少なくとも１つを表示することとをさらに含む。
具体的には、ユーザにより完全で詳細な環境情報を提供して、ユーザが意思決定を行いやすくするために、本実施形態において、無人運転設備が自動運転の遠隔支援機能をトリガした場合、運転支援設備は無人運転設備が送信する無人運転設備のその時点の設定パラメータ、無人運転設備の動作パラメータ、及び無人運転設備が置かれた環境の測定パラメータのうちの少なくとも１つも受信するとともに、ＶＲシーンにおいてこれらのパラメータを同期して表示する。ただし無人運転設備のその時点の設定パラメータは、無人運転設備の型番、自動運転モード、その時点実行されているタスク等を含むが、これらに限定されず、無人運転設備の動作パラメータは、無人運転設備の速度、加速度、車載処理の動作状態、車体の傾斜度等を含むが、これらに限定されず、無人運転設備が置かれた環境の測定パラメータは、無人運転設備が置かれた環境における障害物のそれぞれと当該無人運転設備との間の距離、無人運転設備が置かれた環境の天気パラメータ、無人運転設備が置かれた環境の地面又は地形状態等を含むが、これらに限定されない。
本発明に係る運転支援方法は、無人運転設備が自動運転の遠隔支援機能をトリガした場合、前記無人運転設備が収集したシーン情報を受信し、次に、前記シーン情報に対し処理を行って、ＶＲシーンを生成し、さらに、ユーザが前記ＶＲシーンに基づき遠隔運転支援操作をトリガできるように、ユーザに前記ＶＲシーンを表示し、ただし、前記遠隔運転支援操作は前記無人運転設備が運転操作を実行するよう制御するために用いられるように構成される。これにより、無人運転設備が置かれた環境のＶＲシーンをユーザに提供して、ユーザのシーンへの没入感及び実際の環境に対する感知を効果的に向上させ、正確な遠隔運転支援コマンドをトリガして、無人運転設備の運転の安全性を確保することを可能にする。
図５は、本発明の実施例４に係る運転支援方法のプロセスを概略的に示す図である。
図５に示すとおり、当該運転支援方法は、ステップ４０１と、ステップ４０２とを含み、
ステップ４０１において、遠隔自動運転機能をトリガする場合、シーン情報を収集し、
ステップ４０２において、運転支援設備が前記シーン情報に対し処理を行って、ＶＲシーンを生成するとともに、ユーザに前記ＶＲシーンを表示できるように、前記シーン情報を運転支援設備に送信する。
本発明の実施例４は運転支援方法を提供し、その実行主体は無人運転設備であり、ただし、仮想現実（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ、略称ＶＲ）シーンとは、具体的に、ＶＲ技術を利用して構築されるシーンを指すものであり、当該ＶＲシーンはユーザが視聴できるように、ＶＲ表示機器により表示してもよい。
無人運転設備は所定の運転ルート、運転策略又は運転モードに従って自動運転タスクを実行し、複雑な地形又は複雑な道路状況等、自らの力で解决できない問題に遭遇する場合、自動運転の遠隔支援機能をトリガする。ただし、当該無人運転設備が自動運転の遠隔支援機能をトリガするトリガ条件として、従来技術を採用してもよく、本願ではこれについて限定しない。
無人運転設備は自動運転の遠隔支援機能をトリガする場合、運転支援設備に対し自動運転の遠隔支援要求を開始すると同時に、その時点で収集したシーン情報も運転支援設備に送信して、当該運転支援設備はこれを受信して処理する。ただし、無人運転設備が５Ｇ移動通信ネットワークにより送信するシーン情報が受信される。
次に、運転支援設備は受信されるシーン情報に対し処理を行って、対応するＶＲシーンを生成する。さらに、ユーザが前記ＶＲシーンに基づき遠隔運転支援操作をトリガできるように、ユーザに前記ＶＲシーンを表示し、ただし、前記遠隔運転支援操作は前記無人運転設備が運転操作を実行するよう制御するために用いられる。
すなわち、運転支援設備は無人運転設備が自動運転の遠隔支援機能をトリガした場合、無人運転設備により収集されたその時無人運転設備が置かれたシーンのシーン情報を受信する。ただしシーン情報は無人運転設備を中心として多角度で撮影した画像情報又は映像情報を含んでもよいが、これらに限定されない。運転支援設備はこれらのシーン情報に対し処理を行って、無人運転設備が置かれたシーンのＶＲシーンを作成する。ユーザは無人運転設備が対応する運転操作を実行して、困難から脱出できるように、運転支援設備によりＶＲシーンを取得するとともに、取得されたＶＲシーンに基づき遠隔運転支援操作をトリガしてもよい。
従来技術との相違点は、ユーザが無人運転設備が置かれた環境のＶＲシーンの映像を直接視聴できるようにＶＲ技術を利用しており、そのシーンの再現度が極めて高いことにある。ユーザが平面的な映像と画像だけにより無人運転設備が置かれた環境を取得するという従来の方式と比べて、ユーザは実際のシーンにより近い情報取得を体験できるため、ユーザが意思決定を行って無人運転設備に正確な遠隔運転支援コマンドを発することを可能にし、無人運転設備の運転の安全性を向上させる。
好ましくは、前記シーン情報を運転支援設備に送信した後に、運転支援設備が返す遠隔運転支援操作コマンドを受信して実行することをさらに含み、ただし前記遠隔運転支援操作コマンドはユーザが前記ＶＲシーンに基づきトリガしたものである。
本発明に係る運転支援方法は、無人運転設備が自動運転の遠隔支援機能をトリガした場合、前記無人運転設備が収集したシーン情報を受信し、次に、前記シーン情報に対し処理を行って、ＶＲシーンを生成し、さらに、ユーザが前記ＶＲシーンに基づき遠隔運転支援操作をトリガできるように、ユーザに前記ＶＲシーンを表示し、ただし、前記遠隔運転支援操作は前記無人運転設備が運転操作を実行するよう制御するために用いられるように構成される。これにより、無人運転設備が置かれた環境のＶＲシーンをユーザに提供して、ユーザのシーンへの没入感及び実際の環境に対する感知を効果的に向上させ、正確な遠隔運転支援コマンドをトリガして、無人運転設備の運転の安全性を確保することを可能にする。
図６は、本発明の実施例５に係る運転支援設備の構造を概略的に示す図であり、図５に示すとおり、当該運転支援設備は、
無人運転設備が自動運転の遠隔支援機能をトリガした場合、前記無人運転設備が収集したシーン情報を受信するために用いられる通信ユニット１０と、
前記シーン情報に対し処理を行って、ＶＲシーンを生成するために用いられるＶＲシーン生成ユニット２０と、
ユーザが前記ＶＲシーンに基づき遠隔運転支援操作をトリガできるように、ユーザに前記ＶＲシーンを表示するために用いられ、ただし、前記遠隔運転支援操作は前記無人運転設備が運転操作を実行するよう制御するために用いられるＶＲシーン対話ユニット３０と、を含む。
一つの選択可能な実施形態において、前記シーン情報には無人運転設備のその時点の環境における複数の環境角度の画像情報が含まれており、ただし、前記複数の環境角度の画像情報は前記無人運転設備が同一時刻に収集して取得したものであり、
ＶＲシーン生成ユニット２０は、具体的に、
画像情報のそれぞれに対応する環境角度に基づき、合成してその時点の環境の環境画像情報を取得し、
前記環境画像情報に対しビジュアル画像処理を行って、左目環境画像情報及び右目環境画像情報を含むＶＲシーンを取得するために用いられる。
一つの選択可能な実施形態において、前記シーン情報は無人運転設備のその時点の環境における複数の環境角度の映像情報を含み、
ＶＲシーン生成ユニット２０は、具体的に、
複数の環境角度の映像情報に対しフレーミング処理を行って、同一フレームに対応する複数の環境角度の画像データを取得し、
フレームごとの複数の環境角度の画像データに対しビジュアル画像処理を行って、フレームごとの左目環境画像データ及び右目環境画像データを取得し、
フレームごとの左目環境画像データ及び右目環境画像データに基づき、ＶＲシーンを取得するために用いられる。
一つの選択可能な実施形態において、操作コマンド生成ユニットをさらに含み、
前記ＶＲシーン対話ユニット３０は、ユーザに前記ＶＲシーンを表示した後、ユーザがトリガした遠隔運転支援操作を受信するために用いられ、
前記操作コマンド生成ユニットは前記遠隔運転支援操作に基づき対応する操作コマンドを生成するために用いられ、そして前記通信ユニット１０は前記操作コマンドを前記無人運転設備に送信し、ただし、前記操作コマンドは前記無人運転設備が運転操作を実行するために用いられる。
一つの選択可能な実施形態において、前記通信ユニット１０は、前記無人運転設備のその時点の設定パラメータ、無人運転設備の動作パラメータ、及び無人運転設備が置かれた環境の測定パラメータのうちの少なくとも１つを受信するためにも用いられ、
前記ＶＲシーン対話ユニットは、ユーザに前記ＶＲシーンを表示すると同時に、前記無人運転設備のその時点の設定パラメータ、無人運転設備の動作パラメータ、及び無人運転設備が置かれた環境の測定パラメータのうちの少なくとも１つを表示するためにも用いられる。
一つの選択可能な実施形態において、前記通信ユニット１０は具体的に、前記無人運転設備が５Ｇ移動通信ネットワークにより送信するシーン情報を受信するために用いられる。
当業者にとって自明なように、説明の便宜上、上述したシステムの具体的な動作プロセス及び対応する有益な効果は、上述した方法の実施例における対応するプロセスを参照されればよいため、ここにおいてその説明が省略される。
本発明に係る運転支援設備は、無人運転設備が自動運転の遠隔支援機能をトリガした場合、前記無人運転設備が収集したシーン情報を受信し、次に、前記シーン情報に対し処理を行って、ＶＲシーンを生成し、さらに、ユーザが前記ＶＲシーンに基づき遠隔運転支援操作をトリガできるように、ユーザに前記ＶＲシーンを表示し、ただし、前記遠隔運転支援操作は前記無人運転設備が運転操作を実行するよう制御するために用いられるように構成される。これにより、無人運転設備が置かれた環境のＶＲシーンをユーザに提供して、ユーザのシーンへの没入感及び実際の環境に対する感知を効果的に向上させ、正確な遠隔運転支援コマンドをトリガして、無人運転設備の運転の安全性を確保することを可能にする。
図７は、本発明の実施例６に係る無人運転設備の構造を概略的に示す図であり、図７に示すとおり、当該無人運転設備は、
遠隔自動運転機能をトリガする場合、シーン情報を収集するために用いられる収集ユニット４０と、
運転支援設備が前記シーン情報に対し処理を行って、ＶＲシーンを生成するとともに、ユーザに前記ＶＲシーンを表示できるように、前記シーン情報を運転支援設備に送信するために用いられる送受信ユニット５０とを含む。
一つの選択可能な実施形態において、実行ユニットをさらに含み、
前記送受信ユニットは、運転支援設備が返す遠隔運転支援操作コマンドを受信するためにも用いられ、ただし前記遠隔運転支援操作コマンドはユーザが前記ＶＲシーンに基づきトリガしたものであり、
前記実行ユニットは、前記遠隔運転支援操作コマンドを実行するために用いられる。
本発明に係る無人運転設備は、自動運転の遠隔支援機能をトリガして、前記無人運転設備が収集するシーン情報を収集し、次に、運転支援設備は前記シーン情報に対し処理を行って、ＶＲシーンを生成し、さらに、ユーザが前記ＶＲシーンに基づき遠隔運転支援操作をトリガできるように、ユーザに前記ＶＲシーンを表示し、ただし、前記遠隔運転支援操作は前記無人運転設備が運転操作を実行するよう制御するために用いられるように構成される。これにより、無人運転設備が置かれた環境のＶＲシーンをユーザに提供して、ユーザのシーンへの没入感及び実際の環境に対する感知を効果的に向上させ、正確な遠隔運転支援コマンドをトリガして、無人運転設備の運転の安全性を確保することを可能にする。
図８は、本発明の実施例７に係る運転支援設備のハードウェア構成を概略的に示す図である。図８に示すとおり、当該運転支援設備は、表示機器４３と、プロセッサ４２と、メモリ４１に記憶されてプロセッサ４２において実行可能なコンピュータプログラムとを含み、プロセッサ４２はコンピュータプログラムを実行させる時、上記実施例１ないし実施例３に記載のいずれかの方法を実行する。
前記表示機器４３は前記メモリ４１及び前記プロセッサ４２に接続され、ＶＲ技術を利用してユーザにＶＲシーンを表示する。
図９は、本発明の実施例８に係る無人運転設備のハードウェア構成を概略的に示す図である。図９に示すとおり、当該無人運転設備は、プロセッサ５２と、メモリ５１に記憶されてプロセッサ５２において動作可能なコンピュータプログラムとを含み、プロセッサ５２はコンピュータプログラムを実行させる時、上記実施例４に記載の方法を実行する。
本発明は、読み取り可能な記憶媒体をさらに提供し、当該記憶媒体は、端末において実行させられる時、端末に上記実施例１ないし実施例３に記載のいずれかの方法を実行させるためのプログラムを含む。
本発明は、読み取り可能な記憶媒体をさらに提供し、当該記憶媒体は、端末において実行させられる時、端末に上記実施例４に記載の方法を実行させるためのプログラムを含む。
当業者ならば理解できるように、上記各方法の実施例を実現するためのステップは、その全て又は一部はプログラムコマンドに関連するハードウェアにより行うことができる。上述したプログラムは、コンピュータ読み取り可能な記憶媒体に記憶されてもよい。当該プログラムが実行される時、上記各方法の実施例に含まれるステップを実行する。なお、上述した記憶媒体は、リードオンリーメモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、磁気ディスク又はコンパクトディスク等、プログラムコードを記憶可能な様々な媒体を含む。
なお、上記各実施例のそれぞれは、本発明の実施例に係る技術的解決手段を説明するためのものに過ぎず、それを限定するものではない。上記各実施例を踏まえて本発明を詳細に説明しているが、当業者ならば理解できるように、なおも上記各実施例のそれぞれに記載されている技術的解決手段に対し修正を加えたり、その一部又は全ての技術的特徴に対し均等な差し替えを行ったりしてもよい。ただしこれらの修正又は差し替えにより、技術的解決手段の主旨が本発明の各実施例に係る技術的解決手段の範囲から逸脱することはない。

Claims (18)

  1. 運転支援方法であって、
    無人運転設備が自動運転の遠隔支援機能をトリガした場合、前記無人運転設備が収集したシーン情報、前記無人運転設備のその時点の設定パラメータ、前記無人運転設備の動作パラメータ、及び前記無人運転設備が置かれた環境の測定パラメータを受信し、前記無人運転設備のその時点の設定パラメータは、前記無人運転設備の型番、自動運転モード及びその時点実行されているタスクを含み、前記無人運転設備の動作パラメータは、前記無人運転設備の速度、加速度、車載処理の動作状態及び車体の傾斜度を含み、前記無人運転設備が置かれた環境の測定パラメータは、前記無人運転設備が置かれた環境の天気パラメータ、及び前記無人運転設備が置かれた環境の地面又は地形状態を含むことと、
    前記シーン情報に対し処理を行って、ＶＲシーンを生成することと、
    ユーザが前記ＶＲシーン、前記無人運転設備のその時点の設定パラメータ、前記無人運転設備の動作パラメータ、及び前記無人運転設備が置かれた環境の測定パラメータに基づき遠隔運転支援操作をトリガできるように、ユーザに前記ＶＲシーン、前記無人運転設備のその時点の設定パラメータ、前記無人運転設備の動作パラメータ、及び前記無人運転設備が置かれた環境の測定パラメータを表示し、ただし、前記遠隔運転支援操作は前記無人運転設備が運転操作を実行するよう制御するために用いられることと、を含むことを特徴とする運転支援方法。
  2. 前記シーン情報には無人運転設備のその時点の環境における複数の環境角度の画像情報が含まれており、ただし、前記複数の環境角度の画像情報は前記無人運転設備が同一時刻に収集して取得したものであり、
    対応するように、前記シーン情報に対し処理を行って、ＶＲシーンを生成することは、
    画像情報のそれぞれに対応する環境角度に基づき、合成してその時点の環境の環境画像情報を取得することと、
    前記環境画像情報に対しビジュアル画像処理を行って、左目環境画像情報及び右目環境画像情報を含むＶＲシーンを取得することとを含むことを特徴とする請求項１に記載の運転支援方法。
  3. 前記シーン情報は無人運転設備のその時点の環境における複数の環境角度の映像情報を含み、
    対応するように、前記シーン情報に対し処理を行って、ＶＲシーンを生成することは、
    複数の環境角度の映像情報に対しフレーミング処理を行って、同一フレームに対応する複数の環境角度の画像データを取得することと、
    フレームごとの複数の環境角度の画像データに対しビジュアル画像処理を行って、フレームごとの左目環境画像データ及び右目環境画像データを取得することと、
    フレームごとの左目環境画像データ及び右目環境画像データに基づき、ＶＲシーンを取得することとを含むことを特徴とする請求項１に記載の運転支援方法。
  4. ユーザに前記ＶＲシーンを表示した後に、
    ユーザがトリガした遠隔運転支援操作を受信することと、
    前記無人運転設備が操作コマンドに基づき運転操作を実行できるように、前記遠隔運転支援操作に基づき対応する前記操作コマンドを生成するとともに、前記無人運転設備に送信することとをさらに含むことを特徴とする請求項１に記載の運転支援方法。
  5. 前記無人運転設備が５Ｇ移動通信ネットワークにより送信するシーン情報を受信することを特徴とする請求項１～請求項４のいずれか１項に記載の運転支援方法。
  6. 運転支援方法であって、
    遠隔自動運転機能をトリガする場合、シーン情報、無人運転設備のその時点の設定パラメータ、前記無人運転設備の動作パラメータ、及び前記無人運転設備が置かれた環境の測定パラメータを収集し、前記無人運転設備のその時点の設定パラメータは、前記無人運転設備の型番、自動運転モード及びその時点実行されているタスクを含み、前記無人運転設備の動作パラメータは、前記無人運転設備の速度、加速度、車載処理の動作状態及び車体の傾斜度を含み、前記無人運転設備が置かれた環境の測定パラメータは、前記無人運転設備が置かれた環境の天気パラメータ、及び前記無人運転設備が置かれた環境の地面又は地形状態を含むことと、
    運転支援設備が前記シーン情報に対し処理を行って、ＶＲシーンを生成するとともに、ユーザに前記ＶＲシーン、前記無人運転設備のその時点の設定パラメータ、前記無人運転設備の動作パラメータ、及び前記無人運転設備が置かれた環境の測定パラメータを表示できるように、前記シーン情報、前記無人運転設備のその時点の設定パラメータ、前記無人運転設備の動作パラメータ、及び前記無人運転設備が置かれた環境の測定パラメータを運転支援設備に送信することとを含むことを特徴とする運転支援方法。
  7. 前記シーン情報を運転支援設備に送信した後に、
    運転支援設備が返す遠隔運転支援操作コマンドを受信して実行することをさらに含み、ただし前記遠隔運転支援操作コマンドはユーザが前記ＶＲシーンに基づきトリガしたものであることを特徴とする請求項６に記載の運転支援方法。
  8. 運転支援設備であって、
    無人運転設備が自動運転の遠隔支援機能をトリガした場合、前記無人運転設備が収集したシーン情報、前記無人運転設備のその時点の設定パラメータ、前記無人運転設備の動作パラメータ、及び前記無人運転設備が置かれた環境の測定パラメータを受信するために用いられ、前記無人運転設備のその時点の設定パラメータは、前記無人運転設備の型番、自動運転モード及びその時点実行されているタスクを含み、前記無人運転設備の動作パラメータは、前記無人運転設備の速度、加速度、車載処理の動作状態及び車体の傾斜度を含み、前記無人運転設備が置かれた環境の測定パラメータは、前記無人運転設備が置かれた環境の天気パラメータ、及び前記無人運転設備が置かれた環境の地面又は地形状態を含む通信ユニットと、
    前記シーン情報に対し処理を行って、ＶＲシーンを生成するために用いられるＶＲシーン生成ユニットと、
    ユーザが前記ＶＲシーン、前記無人運転設備のその時点の設定パラメータ、前記無人運転設備の動作パラメータ、及び前記無人運転設備が置かれた環境の測定パラメータに基づき遠隔運転支援操作をトリガできるように、ユーザに前記ＶＲシーン、前記無人運転設備のその時点の設定パラメータ、前記無人運転設備の動作パラメータ、及び前記無人運転設備が置かれた環境の測定パラメータを表示するために用いられ、ただし、前記遠隔運転支援操作は前記無人運転設備が運転操作を実行するよう制御するために用いられるＶＲシーン対話ユニットとを含むことを特徴とする運転支援設備。
  9. 前記シーン情報には無人運転設備のその時点の環境における複数の環境角度の画像情報が含まれており、ただし、前記複数の環境角度の画像情報は前記無人運転設備が同一時刻に収集して取得したものであり、
    ＶＲシーン生成ユニットは、具体的に、
    画像情報のそれぞれに対応する環境角度に基づき、合成してその時点の環境の環境画像情報を取得し、
    前記環境画像情報に対しビジュアル画像処理を行って、左目環境画像情報及び右目環境画像情報を含むＶＲシーンを取得するために用いられることを特徴とする請求項８に記載の運転支援設備。
  10. 前記シーン情報は無人運転設備のその時点の環境における複数の環境角度の映像情報を含み、
    ＶＲシーン生成ユニットは、具体的に、
    複数の環境角度の映像情報に対しフレーミング処理を行って、同一フレームに対応する複数の環境角度の画像データを取得し、
    フレームごとの複数の環境角度の画像データに対しビジュアル画像処理を行って、フレームごとの左目環境画像データ及び右目環境画像データを取得し、
    フレームごとの左目環境画像データ及び右目環境画像データに基づき、ＶＲシーンを取得するために用いられることを特徴とする請求項８に記載の運転支援設備。
  11. 操作コマンド生成ユニットをさらに含み、
    前記ＶＲシーン対話ユニットは、ユーザに前記ＶＲシーンを表示した後、ユーザがトリガした遠隔運転支援操作を受信するために用いられ、
    前記操作コマンド生成ユニットは前記遠隔運転支援操作に基づき対応する操作コマンドを生成して、前記通信ユニットは前記操作コマンドを前記無人運転設備に送信し、ただし、前記操作コマンドは前記無人運転設備が運転操作を実行するために用いられることを特徴とする請求項８に記載の運転支援設備。
  12. 前記通信ユニットは具体的に、前記無人運転設備が５Ｇ移動通信ネットワークにより送信するシーン情報を受信するために用いられることを特徴とする請求項８～請求項１１のいずれか１項に記載の運転支援設備。
  13. 無人運転設備であって、
    遠隔自動運転機能をトリガする場合、シーン情報、無人運転設備のその時点の設定パラメータ、前記無人運転設備の動作パラメータ、及び前記無人運転設備が置かれた環境の測定パラメータを収集するために用いられ、前記無人運転設備のその時点の設定パラメータは、前記無人運転設備の型番、自動運転モード及びその時点実行されているタスクを含み、前記無人運転設備の動作パラメータは、前記無人運転設備の速度、加速度、車載処理の動作状態及び車体の傾斜度を含み、前記無人運転設備が置かれた環境の測定パラメータは、前記無人運転設備が置かれた環境の天気パラメータ、及び前記無人運転設備が置かれた環境の地面又は地形状態を含む収集ユニットと、
    運転支援設備が前記シーン情報に対し処理を行って、ＶＲシーンを生成するとともに、ユーザに前記ＶＲシーン、前記無人運転設備のその時点の設定パラメータ、前記無人運転設備の動作パラメータ、及び前記無人運転設備が置かれた環境の測定パラメータを表示できるように、前記シーン情報、前記無人運転設備のその時点の設定パラメータ、前記無人運転設備の動作パラメータ、及び前記無人運転設備が置かれた環境の測定パラメータを運転支援設備に送信するために用いられる送受信ユニットとを含むことを特徴とする無人運転設備。
  14. 実行ユニットをさらに含み、
    前記送受信ユニットは、運転支援設備が返す遠隔運転支援操作コマンドを受信するためにも用いられ、ただし前記遠隔運転支援操作コマンドはユーザが前記ＶＲシーンに基づきトリガしたものであり、
    前記実行ユニットは、前記遠隔運転支援操作コマンドを実行するために用いられることを特徴とする請求項１３に記載の無人運転設備。
  15. 表示機器と、メモリと、前記メモリに接続されるプロセッサと、及び前記メモリに記憶されて前記プロセッサにおいて実行可能なコンピュータプログラムとを含む運転支援設備であって、
    前記プロセッサは前記コンピュータプログラムを実行する時、請求項１～５のいずれか１項に記載の運転支援方法を実行し、
    前記表示機器は前記メモリ及び前記プロセッサに接続され、ＶＲ技術を利用してユーザにＶＲシーンを表示することを特徴とする運転支援設備。
  16. メモリと、前記メモリに接続されるプロセッサと、前記メモリに記憶されて前記プロセッサにおいて実行可能なコンピュータプログラムとを含む無人運転設備であって、
    前記プロセッサは前記コンピュータプログラムを実行する時、請求項６又は７に記載の運転支援方法を実行することを特徴とする無人運転設備。
  17. 読み取り可能な記憶媒体であって、端末において実行させられる時、前記端末に請求項１～５のいずれか１項に記載の運転支援方法を実行させるためのプログラムを含むことを特徴とする読み取り可能な記憶媒体。
  18. 読み取り可能な記憶媒体であって、端末において実行させられる時、前記端末に請求項６又は７に記載の運転支援方法を実行させるためのプログラムを含むことを特徴とする読み取り可能な記憶媒体。
JP2019127347A 2018-09-07 2019-07-09 運転支援方法、設備、無人運転設備及び読み取り可能な記憶媒体 Active JP7126995B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201811045954.9A CN109389042A (zh) 2018-09-07 2018-09-07 协助驾驶的方法、设备、无人驾驶设备及可读存储介质
CN201811045954.9 2018-09-07

Publications (2)

Publication Number Publication Date
JP2020042780A JP2020042780A (ja) 2020-03-19
JP7126995B2 true JP7126995B2 (ja) 2022-08-29

Family

ID=65417780

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019127347A Active JP7126995B2 (ja) 2018-09-07 2019-07-09 運転支援方法、設備、無人運転設備及び読み取り可能な記憶媒体

Country Status (4)

Country Link
US (1) US11295132B2 (ja)
EP (1) EP3620335A1 (ja)
JP (1) JP7126995B2 (ja)
CN (1) CN109389042A (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110809538B (zh) * 2019-04-15 2023-09-19 深圳市大疆创新科技有限公司 一种自动驾驶的交互方法、设备、***及可读存储介质
CN110081898A (zh) * 2019-05-28 2019-08-02 江苏盛海智能科技有限公司 一种无人驾驶车辆的遥控数据处理方法及***
CN112051840A (zh) * 2019-06-06 2020-12-08 长沙智能驾驶研究院有限公司 车辆控制方法、装置、设备、***及存储介质
CN110228484B (zh) * 2019-06-17 2021-02-19 福州视驰科技有限公司 一种具有辅助驾驶功能的低时延智能远程驾驶***
CN110347163B (zh) * 2019-08-07 2022-11-18 京东方科技集团股份有限公司 一种无人驾驶设备的控制方法、设备及无人驾驶控制***
CN110488846A (zh) * 2019-09-19 2019-11-22 广州文远知行科技有限公司 无人驾驶远程协助方法、装置、设备及储存介质
CN111611175B (zh) * 2020-06-01 2023-05-26 深圳安途智行科技有限公司 自动驾驶软件开发方法、服务器端及客户端
CN114194210A (zh) * 2021-11-19 2022-03-18 岚图汽车科技有限公司 一种高速公路领航***、控制方法及其设备
CN115743166A (zh) * 2022-08-26 2023-03-07 惠州市德赛西威汽车电子股份有限公司 一种智能驾驶方法、装置、域控制器、介质、***及车辆
CN115346375B (zh) * 2022-10-18 2023-02-07 深圳市九洲卓能电气有限公司 一种汽车5g信息传输方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000354257A (ja) 1999-06-10 2000-12-19 Sony Corp 画像処理装置、画像処理方法、およびプログラム提供媒体
JP2011150516A (ja) 2010-01-21 2011-08-04 Ihi Aerospace Co Ltd 無人車両の半自律走行システム
JP2013114321A (ja) 2011-11-25 2013-06-10 Chiba Inst Of Technology 無人走行体の遠隔操縦システム

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11195131A (ja) * 1997-12-26 1999-07-21 Canon Inc 仮想現実方法及び装置並びに記憶媒体
US9270976B2 (en) * 2005-11-02 2016-02-23 Exelis Inc. Multi-user stereoscopic 3-D panoramic vision system and method
JP2014048859A (ja) * 2012-08-31 2014-03-17 Ihi Aerospace Co Ltd 遠隔操縦システム
TWI488764B (zh) * 2013-03-15 2015-06-21 Ind Tech Res Inst 鄰車動態駕駛資訊輔助系統
US9720410B2 (en) * 2014-03-03 2017-08-01 Waymo Llc Remote assistance for autonomous vehicles in predetermined situations
CA2985539C (en) * 2015-05-13 2023-04-04 Uber Technologies, Inc. Autonomous vehicle operated with guide assistance
US10140878B2 (en) * 2015-09-10 2018-11-27 Beeper Avionics Inc. Method and system for pilot target aircraft and target obstacle alertness and awareness
CN105974929A (zh) * 2016-06-11 2016-09-28 深圳市哈博森科技有限公司 一种基于智能装置操控的无人机控制方法
CN106251403B (zh) * 2016-06-12 2018-02-16 深圳超多维光电子有限公司 一种虚拟立体场景实现的方法、装置和***
CN106303497A (zh) * 2016-08-12 2017-01-04 南方科技大学 一种虚拟现实内容生成方法和装置
CN106394545A (zh) * 2016-10-09 2017-02-15 北京汽车集团有限公司 驾驶***、无人驾驶车辆及车辆远程控制端
CN107153363B (zh) * 2017-05-08 2020-11-03 百度在线网络技术（北京）有限公司 无人驾驶汽车的仿真测试方法及装置、设备与可读介质
WO2018232346A1 (en) * 2017-06-15 2018-12-20 Melencio Greg Intelligent fusion middleware for spatially-aware or spatially-dependent hardware devices and systems
CN107589745B (zh) * 2017-09-22 2021-04-16 京东方科技集团股份有限公司 驾驶方法、车载驾驶端、远程驾驶端、设备和存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000354257A (ja) 1999-06-10 2000-12-19 Sony Corp 画像処理装置、画像処理方法、およびプログラム提供媒体
JP2011150516A (ja) 2010-01-21 2011-08-04 Ihi Aerospace Co Ltd 無人車両の半自律走行システム
JP2013114321A (ja) 2011-11-25 2013-06-10 Chiba Inst Of Technology 無人走行体の遠隔操縦システム

Also Published As

Publication number Publication date
US20200082171A1 (en) 2020-03-12
JP2020042780A (ja) 2020-03-19
US11295132B2 (en) 2022-04-05
EP3620335A1 (en) 2020-03-11
CN109389042A (zh) 2019-02-26

Similar Documents

Publication Publication Date Title
JP7126995B2 (ja) 運転支援方法、設備、無人運転設備及び読み取り可能な記憶媒体
JP5473304B2 (ja) 遠隔地画像表示装置、遠隔操縦装置、車両制御装置、遠隔操縦システム、遠隔操縦方法、遠隔操縦プログラム、車両制御プログラム、遠隔地画像表示方法、遠隔地画像表示プログラム
CN109219785B (zh) 一种多传感器校准方法与***
US20200192354A1 (en) Remote driving method, apparatus, device and computer readable storage medium
CN109196437B (zh) 智能驾驶方法、装置及存储介质
JP7317967B2 (ja) 自動車の遠隔制御におけるユーザの支援方法、コンピュータプログラム製品、遠隔制御装置および自動車の運転支援システム
US11906963B2 (en) Vehicle display device, vehicle control system, vehicle control method, and storage medium
CN107666507B (zh) 用于在停车场内部远程控制机动车的方案
WO2021124654A1 (ja) 作業支援サーバ、作業支援方法および作業支援システム
JP7243714B2 (ja) 露光制御装置、露光制御方法、プログラム、撮影装置、及び、移動体
KR20210098445A (ko) 정보 처리 장치, 정보 처리 방법, 프로그램, 이동체 제어 장치, 및 이동체
CN108629842B (zh) 一种无人驾驶设备运动信息提供及运动控制方法与设备
CN113885483B (zh) 一种车辆远程控制方法及装置
CN111459121A (zh) 车辆辅助驾驶测试***和方法
CN110741631A (zh) 车辆的图像提供***、服务器***及车辆的图像提供方法
CN105774657B (zh) 一种单摄像头全景倒车影像***
WO2019206044A1 (zh) 信息处理装置、信息提示指示方法、程序以及记录介质
WO2021251441A1 (ja) 方法、システムおよびプログラム
CN114240769A (zh) 一种图像处理方法以及装置
JP7004374B1 (ja) 移動体の移動経路生成方法及びプログラム、管理サーバ、管理システム
JP6684012B1 (ja) 情報処理装置および情報処理方法
JP6730764B1 (ja) 飛行体の飛行経路表示方法及び情報処理装置
US20220244726A1 (en) Information processing apparatus, information processing method, and program
KR101382798B1 (ko) 차량의 카메라를 이용한 지도 생성 장치 및 방법
JP7370045B2 (ja) 寸法表示システムおよび寸法表示方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190709

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200828

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200908

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201130

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210511

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210811

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20211029

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20220125

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220525

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20220525

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20220601

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20220607

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220719

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220817

R150 Certificate of patent or registration of utility model

Ref document number: 7126995

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150