JP7222139B1 - Processing device, processing program and processing method - Google Patents
Processing device, processing program and processing method Download PDFInfo
- Publication number
- JP7222139B1 JP7222139B1 JP2022122625A JP2022122625A JP7222139B1 JP 7222139 B1 JP7222139 B1 JP 7222139B1 JP 2022122625 A JP2022122625 A JP 2022122625A JP 2022122625 A JP2022122625 A JP 2022122625A JP 7222139 B1 JP7222139 B1 JP 7222139B1
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- button
- processing
- electronic device
- terminal device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims abstract description 128
- 238000003672 processing method Methods 0.000 title claims description 9
- 238000003384 imaging method Methods 0.000 claims abstract description 142
- 238000010586 diagram Methods 0.000 abstract description 38
- 238000007689 inspection Methods 0.000 description 140
- 238000000034 method Methods 0.000 description 69
- 238000004891 communication Methods 0.000 description 62
- 230000008569 process Effects 0.000 description 55
- 230000015654 memory Effects 0.000 description 47
- 230000006870 function Effects 0.000 description 14
- 238000012790 confirmation Methods 0.000 description 13
- 230000005540 biological transmission Effects 0.000 description 10
- 238000006243 chemical reaction Methods 0.000 description 8
- 230000008859 change Effects 0.000 description 7
- 230000001360 synchronised effect Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 230000004913 activation Effects 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 2
- 229920001690 polydopamine Polymers 0.000 description 2
- 238000010248 power generation Methods 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000004378 air conditioning Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000008570 general process Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 238000010897 surface acoustic wave method Methods 0.000 description 1
Images
Landscapes
- User Interface Of Digital Computer (AREA)
- Telephone Function (AREA)
Abstract
【課題】
検査者の負担を軽減し、簡単な操作によって電子機器の処理を遠隔で行う。
【解決手段】
電子機器の動作を制御するための処理を実行する少なくとも一つのプロセッサを具備し、前記少なくとも一つのプロセッサは、撮像装置から供給される前記電子機器の画面の撮像情報をディスプレイにリアルタイムで出力し、前記電子機器を制御するためのボタンを前記撮像情報に付加して前記ディスプレイにリアルタイムで出力し、前記ボタンの操作が検出された場合には、前記ボタンに対応した前記電子機器を制御するための制御信号を生成する、ための処理を実行する。
【選択図】 図１
【Theme】
It reduces the burden on examiners and enables remote processing of electronic devices through simple operations.
[Solution]
comprising at least one processor that executes processing for controlling the operation of an electronic device, wherein the at least one processor outputs in real time to a display imaged information of the screen of the electronic device supplied from an imaging device; A button for controlling the electronic device is added to the imaging information and output to the display in real time, and when the operation of the button is detected, the electronic device corresponding to the button is controlled. Execute processing for generating a control signal.
[Selection diagram] Fig. 1
Description
本開示は、電子機器を遠隔操作で処理可能な処理装置、処理プログラム及び処理方法に関する。 The present disclosure relates to a processing device, a processing program, and a processing method capable of remotely controlling an electronic device.
従来より、携帯電話機、ゲーム機、及び車載装置等の各種の電子機器を検査する際に、手作業による確認作業を簡素化する検査装置が知られていた。例えば、特許文献１には、外部からの物品接触による入力、音声入力、有線入力、電磁波による無線信号入力、画像信号入力を含む外部入力に対応して内部状態が変化し、内部状況の変化に伴い、画像、音声、外部機器への信号を含む外部出力を送出する出力手段を備えた機器と、上記機器と接続され、外部からの指令信号に基づいて機器とのデータの同期、機器の設定、機器への指示、機器の監視を含む機器への連携処理を行う連携処理装置と、からなる機器システムを検査対象として、該システムの動作を検査する検査装置であって、前記機器の外部入力に対応する出力を上記機器に対して発生すると共に、検査対象機器の出力手段の出力を機器外部で検出する入出力機構部と、上記入出力機構部と前記連携処理装置とに接続され、入出力機構部を制御して入力機構部に配置された機器に所定の外部入力を入力させると共に機器の出力を受信する一方、前記連携処理装置への指令信号を発生して連携処理装置を遠隔操作すると共に連携処理装置の動作状態を受信し、前記機器と前記連携処理装置との連携処理を実行させる連携処理検査装置と、を備えたことを特徴とする機器システムの検査装置が記載されている。
2. Description of the Related Art Conventionally, there has been known an inspection device that simplifies manual confirmation work when inspecting various electronic devices such as mobile phones, game machines, and in-vehicle devices. For example, in
しかし、特許文献１に記載の検査装置においては、電子機器を検査するための処理と、電子機器の監視等をするための連携処理とを別々の装置に対して行うため、検査者の操作回数および検査処理自体が複雑となっていた。
However, in the inspection apparatus described in
本開示は、上述した背景からなされたものであり、処理者の負担を軽減し、簡単な操作によって電子機器の処理を遠隔で行える処理装置、処理プログラム及び処理方法を提供する。 The present disclosure has been made in view of the background described above, and provides a processing device, a processing program, and a processing method that can reduce the burden on a processor and remotely perform processing of an electronic device with a simple operation.
本開示の一態様によれば、「電子機器を遠隔で動作させる処理装置であって、前記電子機器の動作を制御するための処理を実行する少なくとも一つのプロセッサを具備し、前記少なくとも一つのプロセッサは、撮像装置から供給される前記電子機器の画面の撮像情報をディスプレイにリアルタイムで出力し、前記電子機器を制御するためのボタンを前記撮像情報に付加して前記ディスプレイにリアルタイムで出力し、前記ボタンの操作が検出された場合には、前記ボタンに対応した前記電子機器を制御するための制御信号を生成する、ための処理を実行するように構成された処理装置。」が提供される。 According to one aspect of the present disclosure, "a processing device for remotely operating an electronic device, comprising at least one processor that executes processing for controlling the operation of the electronic device, the at least one processor outputs image information of the screen of the electronic device supplied from an imaging device to a display in real time, adds a button for controlling the electronic device to the image information and outputs it to the display in real time, A processing device configured to execute processing for generating a control signal for controlling the electronic device corresponding to the button when an operation of the button is detected.
本開示の一態様によれば、「少なくとも一つのプロセッサを具備するコンピュータにおいて前記少なくとも一つのプロセッサを、撮像装置から供給される電子機器の撮像情報をディスプレイにリアルタイムで出力し、前記電子機器を制御するためのボタンを前記撮像情報に付加してディスプレイにリアルタイムで出力し、前記ボタンの操作が検出された場合には、前記ボタンに対応した前記電子機器を制御するための制御信号を生成し、前記電子機器の動作を前記制御信号に基づいて制御する、ように機能させる処理プログラム。」が提供される。 According to one aspect of the present disclosure, "in a computer comprising at least one processor, the at least one processor outputs the imaging information of the electronic device supplied from the imaging device to the display in real time, and controls the electronic device adding a button to the imaging information and outputting it to a display in real time, and when an operation of the button is detected, generating a control signal for controlling the electronic device corresponding to the button; A processing program that functions to control the operation of the electronic device based on the control signal." is provided.
本開示の一態様によれば、「少なくとも一つのプロセッサを具備するコンピュータにおいて前記少なくとも一つのプロセッサにより実行される処理方法であって、撮像装置から供給される電子機器の撮像情報をディスプレイにリアルタイムで出力する段階と、前記電子機器を制御するためのボタンを前記撮像情報に付加してディスプレイにリアルタイムで出力する段階と、前記ボタンの操作が検出された場合には、前記ボタンに対応した前記電子機器を制御するための制御信号を生成する段階と、前記電子機器の動作を前記制御信号に基づいて制御する段階と、を含む処理方法。」が提供される。 According to one aspect of the present disclosure, "a processing method executed by at least one processor in a computer having at least one processor, wherein imaging information of an electronic device supplied from an imaging device is displayed on a display in real time. a step of adding a button for controlling the electronic device to the imaging information and outputting it to a display in real time; A processing method comprising: generating a control signal for controlling a device; and controlling an operation of the electronic device based on the control signal.”.
本開示によれば、処理者の負担を軽減し、簡単な操作によって電子機器の処理を遠隔で行える処理装置、処理プログラム及び処理方法を提供することができる。 Advantageous Effects of Invention According to the present disclosure, it is possible to provide a processing device, a processing program, and a processing method that can reduce the burden on a processor and remotely perform processing of an electronic device with a simple operation.
なお、上記効果は説明の便宜のための例示的なものであるにすぎず、限定的なものではない。上記効果に加えて、又は上記効果に代えて、本開示中に記載されたいかなる効果や当業者であれば明らかな効果を奏することも可能である。 It should be noted that the above effect is merely an example for convenience of explanation, and is not limiting. In addition to or instead of the above effects, any effects described in the present disclosure or effects obvious to those skilled in the art can be achieved.
添付図面を参照して本開示の実施形態を説明する。なお、図面における共通する構成要素には同一の参照符号が付されている。 Embodiments of the present disclosure will be described with reference to the accompanying drawings. In addition, the same reference numerals are attached to common components in the drawings.
１．本開示に係る検査システム１の概要
本開示に係る検査システム１は、一例としては、検査対象物である電子機器が設置された場所とは異なる場所において、当該電子機器を遠隔操作して所望の検査を実施するために用いられる。特に、当該検査システム１は、電子機器の画面及び外観を撮像し、撮像結果である撮像情報をリアルタイムで検査者に提供し、検査者が当該撮像情報を確認しつつ、電子機器の検査を進める場合などにおいて好適に用いられる。具体的には、検査システム１は、電子機器の実際の検査現場とは異なる場所にいる検査者に対して、電子機器を直接触れつつ手作業にて検査している感覚を持たせることが可能である。
1. Overview of
図１は、本開示の実施形態に係る検査システム１に係る検査処理の概要を概略的に示す図である。図１には、検査者が検査者端末装置１００を利用して、検査装置２００を構成する撮像装置２０１によって撮像された検査対象物である車載器３００について、その動作を遠隔で確認しつつ検査する場合が示されている。特に、車載器３００の全体が撮像装置２０１によって撮像され、検査者端末装置１００において車載器３００が全体的に表示されることになる。このため、検査者は検査者端末装置１００に表示される車載器３００の画面をリアルタイムで確認することが可能になり、遠隔操作にて車載器３００の制御が行われた場合（すなわち、検査項目に対応した電子制御）、制御に対応した画面上の変化があるか否かが確認可能となる。本開示に係る検査システム１は、このような検査処理を簡単な操作によって実現し、検査者の負担を軽減するために用いられる。
FIG. 1 is a diagram schematically showing an overview of inspection processing according to an
ここで、本開示の実施形態においては、本開示の処理装置、処理プラグラム、処理方法の一例として、検査装置、検査プログラム、及び検査方法を説明している。しかしながら、本開示の処理については、検査に限定されることなく、映像を確認しつつ行う他の実施行為も含めることができ、本開示の内容は汎用性のある内容となっている。 Here, in the embodiments of the present disclosure, an inspection device, an inspection program, and an inspection method are described as examples of a processing apparatus, a processing program, and a processing method of the present disclosure. However, the processing of the present disclosure is not limited to inspection, and can include other implementation actions performed while checking the video, and the content of the present disclosure is versatile.
また、本開示の実施形態において、検査システム１は、一例として、検査装置２００に加えて、検査者が実際に使用する検査者端末装置１００を含む。また、本開示において、自動車に取り付けられる車載器３００を検査対象物として扱う場合を説明する。特に、本開示において、車載器３００をカーナビゲーション装置としている。しかしながら、検査対象物である車載器３００は、カーナビゲーション装置に限定されることはなく、何等かの情報を表示する画面を備える車載用の電子機器であればよく、例えば、スピードメータ、タコメータ、シフトインジケーター、時計、カーオーディオ等も検査対象物とすることができる。また、検査対象物は車載器３００に限定されることはなく、何等かの情報を表示する画面を備える電子機器であればよく、例えば、ラップトップパソコン、デスクトップパソコン、スマートフォン、フィーチャーフォン、携帯情報端末、ＰＤＡ、携帯型ゲーム機、据え置き型ゲーム機等も検査対象物とすることができる。
Further, in the embodiment of the present disclosure, the
また、本開示において、「撮像」とは検査対象物を動画にて撮影することを意味する。更に、「撮像情報」とは撮像により得られた結果の情報であり、映像のことを意味する。このような撮像情報には、動画情報が含まれることが前提であるものの、音の情報については必須ではない。しかしながら、撮像情報に音の情報を含めることにより、検査項目の拡充や検査精度の向上を図ることも可能である。 In addition, in the present disclosure, “imaging” means capturing a moving image of an inspection object. Furthermore, "imaging information" is information of results obtained by imaging, and means images. Although it is assumed that such imaging information includes moving image information, sound information is not essential. However, by including sound information in imaging information, it is possible to expand inspection items and improve inspection accuracy.
なお、本開示においては、各装置につけられた呼称は、各装置を互いに区別するために用いられているに過ぎず、各装置の機能に応じては他の呼称がなされてもよい。 In the present disclosure, the names given to each device are used only to distinguish each device from each other, and other names may be used according to the functions of each device.
２．検査システム１の構成
図２は、本開示の実施形態に係る検査システム１の構成を概略的に示す概念図である。図２に示すように、検査システム１は、ネットワーク４００を通じて通信可能に接続された検査者端末装置１００及び検査装置２００によって構成されている。ネットワーク４００は、例えばインターネットである。すなわち、検査者端末装置１００及び検査装置２００は、有線又は無線によってインターネット回線に接続され、各種の情報等の送受信が可能である。また、検査装置２００は、有線又は無線によって車載器３００と接続され、検査装置２００から車載器３００を直接的に制御することが可能である。
2. Configuration of
図２に示すように、検査装置２００は、撮像装置２０１、主制御端末装置２０２、ハードキー制御装置２０３から構成されている。なお、撮像装置２０１及びハードキー制御装置２０３は必須の構成とせずに、検査装置２００の外部構成とて設けてもよい。
As shown in FIG. 2, the
撮像装置２０１は、例えば、一般的なウエブカメラやビデオカメラであり、車載器３００の状態を常時撮影する。なお、本開示の実施形態においては、撮像した映像を単に外部送信するだけのウエブカメラを想定しているが、撮像した撮像情報を内部にて記憶するためのメモリ等を備えるビデオカメラを用いてもよい。
The
主制御端末装置２０２は、撮像装置２０１及びハードキー制御装置２０３を制御し、検査装置２００の制御を総合的に行う。また、主制御端末装置２０２は、車載器３００と有線又は無線によって接続されており、車載器３００に関するソフトウェア上の制御を行う。例えば、主制御端末装置２０２は、車載器３００の画面上における表示制御、及びアプリケーションの制御等を行う。主制御端末装置２０２による制御については、追って詳細に説明する。
The main
ハードキー制御装置２０３は、車載器３００と有線又は無線によって接続されており、車載器３００のハードウェアキーを制御するための装置である。例えば、車載器３００のハードウェアキーとしては、車載器３００の筐体の外周部に設けられたホームボタン、音量ボタン、電源ボタン等が想定される。ハードキー制御装置２０３は、これらのボタンが動作するための駆動信号（電力）の供給および供給の停止を行う。また、ハードキー制御装置２０３は、車載器３００と連動する他の車載器（例えば、ステアリング）のハードウェアキーによる操作に対応した制御を行う。例えば、ハードキー制御装置２０３は、車載器３００の動作を制御するためのステアリング上の音量ボタン、モード切替ボタン等が操作（押下）された場合に生成される制御信号を生成し、車載器３００に供給する。すなわち、ハードキー制御装置２０３は、車載器３００と連動する他の車載器による操作を模擬することができる。
The hardware
ハードキー制御装置２０３の具体的な構成としては、例えば、車載器３００と電源ケーブルによって接続された電源、並びに当該電源における電力生成及び電力供給を制御する電源制御モジュールとしてもよい。このような構成において、電源制御モジュールは入力された制御信号を電源制御信号に変換して電源に供給し、電源におけるスイッチングが実行され、電源から車載器３００に対して所望の電力供給がなされる。これにより、車載器３００の駆動や各種の動作が可能となる。なお、本開示の実施形態において、ハードキー制御装置２０３は、一般的なスイッチング回路電源を想定しているが、プロセッサ、メモリ、通信インターフェイス等を備える装置であってもよい。
A specific configuration of the hard
検査装置２００において、主制御端末装置２０２は撮像装置２０１と有線によって接続されている。これにより、主制御端末装置２０２は、撮像装置２０１の駆動及び各種の動作の制御を行うことが可能である。例えば、主制御端末装置２０２は、撮像装置２０１に対して駆動電力を供給して撮像装置２０１を駆動させ、その後のフォーカス、又は撮像情報の記録等の動作のための制御信号を供給して撮像装置２０１の動作を制御する。また、撮像装置２０１における撮像情報が、当該有線を介して撮像装置２０１から主制御端末装置２０２に供給されることになる。なお、主制御端末装置２０２は、撮像装置２０１の制御及び情報の送受信が可能であれば無線によって接続されてもよい。
In the
また、検査装置２００において、主制御端末装置２０２はハードキー制御装置２０３と有線によって接続されている。これにより、主制御端末装置２０２は、ハードキー制御装置２０３における電力の生成及び供給を制御することができる。例えば、主制御端末装置２０２から当該電源制御モジュールに対して制御信号が供給され、当該制御信号に応じて電源制御モジュールが駆動する。その後は、上述したように、電源制御モジュールが当該制御信号に対応した電源制御信号を生成し（すなわち、制御信号を電源制御信号に変換し）、当該電源制御信号が電源に供給されることにより、電源から車載器３００への所望の電力の供給又は停止が行われる。なお、主制御端末装置２０２は、ハードキー制御装置２０３の制御が可能であれば無線によって接続されてもよい。
In the
なお、図２の例では、検査者端末装置１００は１台しか記載されていないが、当然２台以上の各装置を含むことが可能である。すなわち、インターネットに接続された各端末装置から検査装置２００を制御して車載器３００の検査を実施することができる。また、検査装置２００も１台に限られず、車載器３００に対して、複数の検査装置２００が設定されてもよい。この場合には、例えば、検査項目に対応させて複数の検査装置２００から１つの検査装置２００を選択し、検査項目に対応させて検査装置２００を切り替えてもよい。
Although only one
３．検査者端末装置１００の構成
図３は、本開示の実施形態に係る検査者端末装置１００の構成の例を示すブロック図である。検査者端末装置１００は、図３に示す構成要素の全てを備える必要はなく、一部を省略した構成をとることも可能であるし、他の構成要素を加えることも可能である。
3. Configuration of
検査者端末装置１００は、典型的には、ラップトップパソコン又はデスクトップパソコンに代表される無線通信可能な端末装置が挙げられるが、当該装置のみには当然限られない。例えば、検査者端末装置１００としては、スマートフォン、フィーチャーフォン、携帯情報端末、ＰＤＡ、携帯型ゲーム機、据え置き型ゲーム機など、本開示に係るプログラムを実行可能な装置であれば、いずれでも好適に適用することが可能である。また、上記のとおり、複数の検査者端末装置１００が検査装置２００と通信可能である場合に、検査者端末装置１００のそれぞれは、常に同種又は同じ端末装置である必要はなく、互いに異なる種類の端末装置であってもよい。
The
図３によると、検査者端末装置１００は、出力インターフェイス１１１、プロセッサ１１２、ＲＡＭ、ＲＯＭ、又は不揮発性メモリ（場合によっては、ＨＤＤ）等を含むメモリ１１３、通信処理回路及びアンテナを含む通信インターフェイス１１４、並びにマウス１１６ａ及びキーボード１１６ｂを含む入力インターフェイス１１６を含む。そして、これらの各構成要素が制御ライン及びデータラインを介して互いに電気的に接続される。
According to FIG. 3, the
出力インターフェイス１１１は、プロセッサ１１２の指示に応じて、別途設けられたカメラで撮影される画像や、本開示に係るプログラムを実行することによって検査装置２００から受信する表示情報を、ディスプレイやプリンタ等の機器に出力する出力部として機能する。なお、このようなディスプレイは、例えば液晶ディスプレイ、有機ＥＬディスプレイ又は電子ペーパー等から構成される。
The
プロセッサ１１２は、ＣＰＵ（マイクロコンピュータ：マイコン）から構成され、メモリ１１３に記憶された各種プログラムに基づいて、接続された他の構成要素を制御する制御部として機能する。具体的には、プロセッサ１１２は、各種のアプリケーションを実行するためのプログラムやＯＳを実行するためのプログラムをメモリ１１３から読み出して実行する。本開示においては、プロセッサ１１２は、特に、後述する処理シーケンスで記載された処理の一部を実行する。処理の詳細については、図５以降の説明の際において詳細に説明する。なお、プロセッサ１１２は、単一のＣＰＵで構成されても良いが、複数のＣＰＵやＧＰＵを組み合わせて構成しても良い。
The
メモリ１１３は、ＲＯＭ、ＲＡＭ、不揮発性メモリ、ＨＤＤ等から構成され、記憶部として機能する。ＲＯＭは、本開示に係るアプリケーションやＯＳを実行するための指示命令をプログラムとして記憶する。ＲＡＭは、ＲＯＭに記憶されたプログラムがプロセッサ１１２により処理されている間、データの書き込み及び読み込みをするために用いられる。不揮発性メモリは、当該プログラムの実行によってデータの書き込み及び読み込みが実行されるメモリであって、ここに書き込まれたデータは、当該プログラムの実行が終了した後でも保存される。本開示においては、メモリ１１３は、特に、後述する処理シーケンスで記載された処理の一部を実行するプログラムを記憶する。処理の詳細については、図５以降の説明の際に詳細に説明する。
The
通信インターフェイス１１４は、通信処理回路及びアンテナを介して、遠隔に設置された検査装置２００の主制御端末装置２０２や他の端末装置との間で情報の送受信をする通信部として機能する。通信処理回路は、検査システム１において用いられるプログラムや各種情報等を処理の進行に応じて、主制御端末装置２０２や他の端末装置から情報を送受信するための処理をする。本開示においては、特に、検査者情報、検査に関する要求情報、及び検査に関する制御情報が主制御端末装置２０２に送信され、検査対象物である車載器３００の撮影情報、及び検査に関する各種の情報（制御結果、診断結果）等が主制御端末装置２０２から受信される。
The
通信処理回路は、ＬＴＥ方式に代表されるような広帯域の無線通信方式に基づいて処理されるが、ＩＥＥＥ８０２．１１に代表されるような無線ＬＡＮやＢｌｕｅｔｏｏｔｈ（登録商標）のような狭帯域の無線通信に関する方式や非接触無線通信に関する方式に基づいて処理することも可能である。また、無線通信に代えて、又は加えて、有線通信を用いることも可能である。 The communication processing circuit performs processing based on a broadband wireless communication system typified by the LTE system. It is also possible to process based on a method related to communication or a method related to non-contact wireless communication. Wired communication may also be used instead of or in addition to wireless communication.
入力インターフェイス１１６は、マウス１１６ａ、及びキーボード１１６ｂから構成され、本開示に係るプログラムの実行に係る指示入力や、様々な情報を登録するための操作入力等を受け付ける入力部として機能する。マウス１１６ａ及びキーボード１１６ｂは、プロセッサ１１２等を備える本体に無線又は有線で接続される。なお、入力インターフェイス１１６の構成はこれに限られず、タッチパネルや他のハードキー等を用いてもよい。例えば、タッチパネルの用いる場合、出力インターフェイス１１１を被覆するように当該タッチパネルが配置され、出力インターフェイス１１１からディスプレイに出力される画像のデータに対応する位置座標の情報を、プロセッサ１１２に送信する。タッチパネル方式としては、抵抗膜方式、静電容量結合方式、超音波表面弾性波方式など、公知の方式を利用することができる。本開示においては、タッチパネルは、指示体により出力インターフェイス１１１に表示された各アイコン等に対するスワイプ操作やタップ操作を検出する。
The
４．主制御端末装置２０２の構成
図４は、本開示の実施形態に係る主制御端末装置２０２の構成の例を示すブロック図である。主制御端末装置２０２は、図４に示す構成要素の全てを備える必要はなく、一部を省略した構成をとることも可能であるし、他の構成要素を加えることも可能である。また、主制御端末装置２０２は単一の筐体に図４に図示するものを備える必要はなく、主制御端末装置２０２の各構成要素及び処理を複数のサーバ装置やクラウドサーバ装置に分配することも可能である。
4. Configuration of main
図４によると、主制御端末装置２０２は、ＲＡＭ、ＲＯＭ、及び不揮発性メモリ、ＨＤＤ等を含むメモリ２１１、ＣＰＵ等から構成されるプロセッサ２１２、入出力インターフェイス２１３及び通信インターフェイス２１４を含む。そして、これらの各構成要素が制御ライン及びデータラインを介して互いに電気的に接続される。
According to FIG. 4, the main
メモリ２１１は、ＲＡＭ、ＲＯＭ、不揮発性メモリ、ＨＤＤを含み、記憶部として機能する。ＲＯＭは、本開示に係るアプリケーションやＯＳを実行するための指示命令をプログラムとして記憶する。このようなプログラムは、プロセッサ２１２によってロードされ実行される。ＲＡＭは、ＲＯＭに記憶されたプログラムがプロセッサ２１２によって処理されている間、データの書き込み及び読み込みを実行するために用いられる。不揮発性メモリは、当該プログラムの実行によってデータの書き込み及び読み込みが実行されるメモリであって、ここに書き込まれたデータは、当該プログラムの実行が終了した後でも保存される。本開示において、メモリ２１１は、「撮像装置２０１から供給される車載器３００の撮像情報をディスプレイにリアルタイムで出力する処理」、「車載器３００の制御を要求するための画面上のボタンを当該撮像情報に付加してディスプレイにリアルタイムで出力する処理」、「当該ボタンの操作が検出された場合には、当該ボタンに対応した車載器３００を制御するための制御信号を生成する処理」、「車載器３００の動作を当該制御信号に基づいて制御する処理」等のためのプログラムを記憶する。また、メモリ２１１は、主制御端末装置２０２の使用が許可された検査者に関する情報、車載器３００を含む種々の検査対象物の情報、並びに各検査対象物の検査状況及び検査結果に関する情報を記憶する。
The
プロセッサ２１２は、ＣＰＵ（マイクロコンピュータ：マイコン）から構成され、メモリ２１１に記憶された各種プログラムに基づいて、接続された他の構成要素を制御するための制御部として機能する。具体的には、プロセッサ２１２は、本開示に係るアプリケーションを実行するためのプログラムやＯＳを実行するためのプログラムをメモリ２１１から読み出して実行する。本開示においては、プロセッサ２１２は、特に、「撮像装置２０１から供給される撮像情報をディスプレイにリアルタイムで出力する処理」、「車載器３００を制御するための画面上のボタンを当該撮像情報に付加してディスプレイにリアいるタイムで出力する処理」、「当該ボタンの操作が検出された場合には、当該ボタンの要求に対応した車載器３００を制御するための制御信号を生成する処理」等を実行する。なお、プロセッサ２１２は、単一のＣＰＵで構成されても良いが、複数のＣＰＵで構成しても良い。
The
入出力インターフェイス２１３は、検査装置２００を構成する撮像装置２０１、ハードキー制御装置２０３及び車載器３００と相互に情報のやり取り（データ通信）を可能にするための接続部として機能する。通信可能に各装置が接続されることにより、プロセッサ２１２によるプログラムの読み出し及び実行が行われると、撮像装置２０１、ハードキー制御装置２０３及び車載器３００の制御処理に関する制御信号が各装置に送信され、各装置の制御処理が実行される。また、主制御端末装置２０２は、撮像装置２０１、ハードキー制御装置２０３及び車載器３００から状態等の各種の情報を受信し、メモリ２１１への記憶や受信情報を検査者に更に送信して提供することが可能になる。例えば、本開示においては、入出力インターフェイス２１３は、ＵＳＢ（Universal Serial Bus）を想定するが、本開示において扱われる情報の相互通信が可能であればその他の有線又は無線の接続装置であってもよい。
The input/
通信インターフェイス２１４は、通信処理回路及びアンテナを介して、遠隔に設置された検査者端末装置１００や他のサーバ装置との間で情報の送受信をする通信部として機能する。通信処理回路は、検査システム１において用いられるプログラムや各種情報等を処理の進行に応じて、検査者端末装置１００や他のサーバ装置から情報を送受信するための処理をする。本開示においては、特に、通信インターフェイス２１４を介して、主制御端末装置２０２の使用が許可された検査者に関する情報、車載器３００を含む種々の検査対象物の情報、並びに各検査対象物の検査状況及び検査結果に関する情報（すなわち、表示情報）が、主制御端末装置２０２と検査者端末装置１００との間で送受信される。
The
通信処理回路は、ＬＴＥ方式に代表されるような広帯域の無線通信方式に基づいて処理されるが、ＩＥＥＥ８０２．１１に代表されるような無線ＬＡＮやＢｌｕｅｔｏｏｔｈ（登録商標）のような狭帯域の無線通信に関する方式や非接触無線通信に関する方式に基づいて処理することも可能である。また、無線通信に代えて、又は加えて、有線通信を用いることも可能である。 The communication processing circuit performs processing based on a broadband wireless communication system typified by the LTE system. It is also possible to process based on a method related to communication or a method related to non-contact wireless communication. Wired communication may also be used instead of or in addition to wireless communication.
なお、入出力インターフェイス２１３及び通信インターフェイス２１４は、同一規格の装置を使用する場合には共通のインターフェイスとして構成してもよい。例えば、入出力インターフェイス２１３が無線通信を行う接続装置とする場合には、通信インターフェイス２１４に入出力インターフェイス２１３を含めるようにしてもよい。
Note that the input/
５．主制御端末装置２０２から検査者端末装置１００に提供される情報
図５は、本開示の実施形態に係る主制御端末装置２０２から検査者端末装置１００に提供される表示情報５００を概念的に示す図である。ここで、「表示情報」とは、撮像装置２０１から得られる車載器３００の撮像情報、及び車載器３００の制御を要求するための各種のボタンを当該撮像情報に付加したものであり、検査者端末装置１００のディスプレイに表示されるものである。すなわち、図５は、本開示の実施形態に係る検査者端末装置１００に出力される画面の例を示す図でもある。
5. Information Provided from Main
図５に示すように、表示情報（表示画面）５００は、車載器３００の撮像情報をリアルタイムで表示する映像表示部５０１を備える。また、表示情報５００は、映像表示部５０１に併設して表示される制御用のボタンを備える。本開示の実施形態においては、当該制御用のボタンとして、電源信号系のボタン、キー操作用のボタン、ステアリングスイッチ用のボタン、及びその他のボタンが表示される。
As shown in FIG. 5 , the display information (display screen) 500 includes a
表示される電源信号用のボタンとして、本開示の実施形態においては電源ボタン５１１、イグニッションボタン５１２、走行ボタン５１３、及びカメラ接続ボタン５１４を表示している。電源ボタン５１１は、車載器３００に対する電源の供給又は停止を検査装置２００に要求するためのボタンであって、主電源制御として機能する。ここで、電源ボタン５１１がＯＮ状態においては車載器３００に電源供給がされている状態となり、電源ボタン５１１がＯＦＦ状態においては車載器３００への電源供給が停止されている状態となる。特に、電源ボタン５１１は、車載器３００の検査をする際に車載器３００を駆動状態にするために使用されるボタンとなる。
As displayed power signal buttons, a power button 511, an ignition button 512, a
イグニッションボタン５１２は、自動車に搭載されているイグニッションのスイッチであり、当該自動車の駆動状態の決定を検査装置２００に要求するためのスイッチである。ここで、イグニッションボタン５１２がＯＮ状態の場合、当該自動車においてエンジン又はバッテリ等の駆動源がＯＮ状態であり、イグニッションボタン５１２がＯＦＦ状態の場合、当該自動車においてエンジン又はバッテリ等の駆動源がＯＦＦ状態である。特に、イグニッションボタン５１２は、車載器３００の検査をする際の状態として、自動車自体を駆動させた状態を模擬するために使用されるボタンとなる。
The ignition button 512 is an ignition switch mounted on the automobile, and is a switch for requesting the
走行ボタン５１３は、車載器３００を搭載する自動車が走行状態であるか否かの決定を検査装置２００に要求するスイッチである。ここで、走行ボタン５１３がＯＮ状態の場合、当該自動車において駆動源から車輪に対して駆動が伝達された走行状態であり、走行ボタン５１３がＯＦＦ状態の場合、当該自動車において駆動源から車輪に対して駆動が伝達されていない停止状態である。特に、走行ボタン５１３は、車載器３００の検査をする際の状態として、自動車自体が走行している状態を模擬するために使用されるボタンとなる。
The
カメラ接続ボタン５１４は、自動車に搭載された車載カメラ（フロントカメラ及びリアカメラ）が車載器３００と接続状態であるか否かの決定を検査装置２００に要求するスイッチである。ここで、カメラ接続ボタン５１４がＯＮ状態の場合、車載カメラによって撮影された映像が車載器３００に表示されている状態であり、カメラ接続ボタン５１４がＯＦＦ状態の場合、車載器３００に車載カメラの映像が表示されない状態（すなわち、車載カメラがＯＦＦ状態）である。特に、カメラ接続ボタン５１４は、車載器３００の検査をする際の状態として、車載カメラの映像が車載器３００に表示されるか否かを検査するために使用されるボタンとなる。
The
なお、電源信号用のボタンは上述したボタンに限定されることはなく、車載器３００及び自動車の電源に関する他のボタンを表示し、検査者によって制御できるようにしてもよい。例えば、車載バッテリのＯＮ・ＯＦＦを示すボタン、車載カメラから入力信号がない状態を示すボタン、その他の車載器３００に関する検査状態を示すボタンを表示し、車載器３００の想定される他の状態を模擬できるようにしてもよい。
Note that the buttons for power signal are not limited to the above-described buttons, and other buttons related to the vehicle-mounted
表示されるキー操作用のボタンとして、本開示の実施形態においてはホームボタン５２１、バックボタン５２２、音量アップボタン５２３、音量ダウンボタン５２４、及び電源ボタン５２５を表示している。これらのボタンは、車載器３００の表示画面の周囲に設けられたハードウェアキーに対応している。すなわち、映像表示部５０１に併設されるように、車載器３００のハードウェアキーを模擬したハードキーボタンである各種ボタンが表示される。
As displayed key operation buttons, a
ホームボタン５２１は、車載器３００の画面を最上位に位置するホーム画面（すなわち、トップ画面）への遷移を検査装置２００に要求するためのボタンである。バックボタン５２２は、車載器３００の画面を一つ前の画面に戻す遷移を検査装置２００に要求するためのボタンである。音量アップボタン５２３は、車載器３００の音量設定を段階的に上げることを検査装置２００に要求するためのボタンである。音量ダウンボタン５２４は、車載器３００の音量設定を段階的に下げることを検査装置２００に要求するためのボタンである。電源ボタン５２５は、車載器３００への電源供給の開始又は停止を検査装置２００に要求するためのボタンであり、電源ボタン５１１とは異なり副電源用のボタンとして機能する。
The
なお、キー操作用のボタンは上述したボタンに限定されることはなく、車載器３００に設けられる一般的な他のハードウェアキーに対応したボタンを表示し、検査者によるハードウェアキーからの他の制御要求を表示情報５００において模擬できるようにしてもよい。例えば、車載器３００において表示された各種メニューや楽曲等を選択するための十字キーを表示し、車載器３００における手動によるメニュー及び楽曲の選択等を表示情報５００において模擬できるようにしてもよい。
Note that the buttons for key operation are not limited to the buttons described above, and buttons corresponding to other general hardware keys provided in the vehicle-mounted
表示されるステアリングスイッチ用のボタンとして、本開示の実施形態においてはステアリングスイッチアップボタン５３１（以下、アップボタン５３１と称する）、ステアリングスイッチダウンボタン５３２（以下、ダウンボタン５３２と称する）、音量アップボタン５３３、音量ダウンボタン５３４、モードボタン５３５、及び通話ボタン５３６を表示している。すなわち、映像表示部５０１に併設されるように、自動車のステアリングに設けられたハードウェアキーを模擬したハードキーボタンである各種ボタンが表示される。
As displayed steering switch buttons, in the embodiment of the present disclosure, a steering switch up button 531 (hereinafter referred to as the up button 531), a steering switch down button 532 (hereinafter referred to as the down button 532), and a volume up button. 533, volume down
アップボタン５３１及びダウンボタン５３２は、車載器３００において表示された各種メニューや楽曲について変更を検査装置２００に要求するためのボタンである。例えば、アップボタン５３１は、複数表示されたメニューや楽曲について、車載器３００の画面に表示された１つ上のものを選択するために使用されるボタンである。また、ダウンボタン５３２は、複数表示されたメニューや楽曲について、車載器３００の画面に表示された１つ下のものを選択するために使用されるボタンである。
The up
音量アップボタン５３３は、車載器３００の音量設定を段階的に上げることを検査装置２００に要求するためのボタンである。また、音量ダウンボタン５３４は、車載器３００の音量設定を段階的に下げることを検査装置２００に要求するためのボタンである。すなわち、当該２つのボタンは、上述したハードキーボタンとして表示された音量アップボタン５２３及び音量ダウンボタン５２４と同一の制御を検査装置２００に要求する。
The volume up
モードボタン５３５は、例えば、車載器３００に表示された地図モードとオーディオモードとの切り替えを検査装置２００に要求するためのボタンである。なお、車載器３００に他のモード機能が存在している場合には、多数のモードを切り替えの要求がモードボタン５３５によって行われる。また、通話ボタン５３６は、車載器３００に携帯電話が接続されている場合に、当該携帯電話を利用して通話開始を検査装置２００に要求するためのボタンである。
The
なお、ステアリングスイッチ用のボタンは上述したボタンに限定されることはなく、ステアリングに設けられる一般的な他のハードウェアキーに対応したボタンを表示し、検査者によるステアリングスイッチからの他の制御要求を模擬できるようにしてもよい。例えば、上述した通話ボタン５３６に関連させ、オンフック及びオフフックの制御要求を表示情報５００において模擬できるようにしてもよい。
The buttons for the steering switch are not limited to the buttons described above, and buttons corresponding to other general hardware keys provided on the steering wheel are displayed, and other control requests from the steering switch by the inspector are displayed. can be simulated. For example, on-hook and off-hook control requests may be simulated in the
表示されるその他のボタンとして、本開示の実施形態においてはハードキー確認ボタン５４１、画面ロックボタン５４２、及び座標制御開始ボタン５４３を表示している。ハードキー確認ボタン５４１は、検査中の車載器３００の状態と、表示情報５００における車載器３００の状態（すなわち、検査者端末装置１００の画面に表示される車載器３００の状態）の同期を検査装置２００に要求するためのボタンである。例えば、車載器３００の検査を一度停止した場合、検査を再開する際には表示情報５００が初期状態（全ての電気信号がＯＦＦとなる状態）に戻るため、ハードキー確認ボタン５４１が操作（押下）されることにより、検査中の車載器３００の状態と、表示情報５００における車載器３００の状態とが同期され、車載器３００の正しい状態が検査者によって把握可能になる。
As other displayed buttons, a hard
画面ロックボタン５４２及び座標制御開始ボタン５４３は、映像表示部５０１に表示された車載器３００の画面と車載器３００の実画面の座標を一致させる処理を行う際に使用されるスイッチである。すなわち、２つのボタンをＯＮ状態にすることにより、映像表示部５０１に表示された車載器３００の画面の各位置が車載器３００の実画面の各位置に対応する座標変換がなされ、両画面の同期が行われる。換言すると、映像表示部５０１に表示された車載器３００の画面（車載器３００の撮像情報）には、車載器３００のソフトキーを模擬したソフトキーボタンが埋め込まれている状態となる。このため、映像表示部５０１に表示された車載器３００の画面上のボタン（すなわち、模擬したソフトキーボタン）を選択すると、車載器３００の実画面のボタンが選択されてことになる処理が実行可能になる。当該処理については、追って図９Ａ以降を参照しつつ詳細に説明する。
The
なお、表示されるその他のボタンは上述したボタンに限定されることはなく、車載器３００の検査に必要な他のボタンを表示し、検査者による他の制御要求を実行できるようにしてもよい。
It should be noted that other buttons to be displayed are not limited to the buttons described above, and other buttons required for inspection of the vehicle-mounted
６．検査システム１により実行される処理シーケンス
（Ａ）検査開始に係る処理
図６Ａは、本開示の実施形態に係る検査者端末装置１００、検査装置２００の各装置、及び車載器３００の間で実行される処理シーケンスを示す図である。具体的には、図６Ａは、車載器３００に対する遠隔操作による検査開始状態にするまでに、検査者端末装置１００と検査装置２００との間で実行される処理シーケンスを示す図である。
6. Processing Sequence Executed by Inspection System 1 (A) Processing for Starting Inspection FIG. FIG. 10 is a diagram showing a processing sequence for processing; Specifically, FIG. 6A is a diagram showing a processing sequence executed between the
図６Ａに示すように、検査者端末装置１００は、検査を開始するための初期処理を実行する（Ｓ１１）。先ず、検査者による検査者端末装置１００の操作により、検査システムへのログイン処理が実行される。当該ログイン処理については、一般的な処理となるためその説明及び図示は省略する。その後、検査者端末装置１００のプロセッサ１１２は、入力インターフェイス１１６を介した検査者の操作入力を受け、撮像装置２０１の選択情報を生成する。当該選択情報には、検査対象物である車載器３００を撮像するために設置された撮像装置２０１に関する情報が含まれる。ここで、検査者の操作入力とは、検査者端末装置１００のディスプレイに表示された撮像装置リストから、今回の検査で使用する撮像装置２０１をマウス１１６ａを用いて選択する処理である。その後、プロセッサ１１２は、生成された選択情報を、通信インターフェイス１１４を介して主制御端末装置２０２に送信する（Ｔ１１）。
As shown in FIG. 6A, the
主制御端末装置２０２において、通信インターフェイス２１４を介して撮像装置２０１の選択情報が受信されると、主制御端末装置２０２のプロセッサ２１２は、選択対象となる撮像装置２０１に対して撮像開始を要求するための撮像制御信号を生成する（Ｓ１２）。当該撮像制御信号とは、撮像装置２０１を駆動するための駆動信号であり、いわゆる電源供給に該当する。なお、当該撮像制御信号には、電源供給のみならず、撮像装置２０１における各種設定（例えば、フォーカス情報）が含まれてもよい。その後、主制御端末装置２０２のプロセッサ２１２は、生成した撮像制御信号を入出力インターフェイス２１３を介して対象となる撮像装置２０１に送信し、撮像制御要求の処理を実行する（Ｔ１２）。
When the main
撮像装置２０１は、有線の接続配線を介して撮像制御信号を受信する（すなわち、電力供給がある）と撮像装置２０１の駆動を開始し、撮像処理を実行する。すなわち、撮像装置２０１において、検査対象物として設置された車載器３００の撮像が開始される（Ｓ１３）。当該撮像については、主制御端末装置２０２から撮像停止を要求する撮像制御信号を受信しなければ（すなわち、電力供給停止がなければ）、継続して実施されることになる。撮像装置２０１は、撮像が開始されると、有線の接続配線を介して主制御端末装置２０２に撮像情報を送信する（Ｔ１３）。当該撮像情報の送信についても、撮像が継続する限り実施されることになり、車載器３００の撮像情報が逐次送信される。なお、図６Ａにおいては、便宜上のため、撮像情報に関する１つの送信のみを図示している。
When the
主制御端末装置２０２のプロセッサ２１２は、車載器３００の撮像情報を入出力インターフェイス２１３を介して受信すると、メモリ２１１に記憶するとともに、検査者端末装置１００において表示される制御要求のボタンに関する情報を当該撮像情報に付加する（Ｓ１４）。すなわち、主制御端末装置２０２のプロセッサ２１２は、当該撮像情報と制御要求のボタンを組み合わせて表示情報を生成することになる。ここで、撮像装置２０１からの撮像情報の送信は継続して実施されるため、主制御端末装置２０２のプロセッサ２１２も、受信情報を継続してメモリ２１１に記憶する。なお、主制御端末装置２０２のメモリ２１１における撮像情報の記憶は必須ではなく、他の外部メモリや検査者端末装置１００のメモリ１１３において実施されてもよい。
When the
その後、主制御端末装置２０２のプロセッサ２１２は、通信インターフェイス２１４を介して検査者端末装置１００に当該表示情報を送信する（Ｔ１４）。ここで、撮像装置２０１からの表示情報の送信は継続して実施されるため、主制御端末装置２０２のプロセッサ２１２も、表示情報を継続して検査者端末装置１００に送信する。すなわち、車載器３００のリアルタイムの撮像情報と制御要求に関するボタン情報が検査者端末装置１００に提供されることになる。
After that, the
検査者端末装置１００のプロセッサ１１２は、入力インターフェイス１１６を介して受信した表示情報を、車載器３００の状態として出力インターフェイス１１１を介してディスプレイ等の表示装置に表示する（Ｓ１５）。具体的には、図５に示した表示情報５００の映像表示部５０１に車載器３００の撮像情報（映像）が含まれることなる。例えば、映像表示部５０１には、車載器３００の筐体（図示せず）に加えて、車載器３００の画面６００が表示される（図６Ｂ参照）。これにより、検査者は、車載器３００の状態をリアルタイムにて確認することが可能になる。
The
（Ｂ）車載器３００に対するハードキーの制御状態確認に係る処理
図７Ａは、本開示の実施形態に係る検査者端末装置１００、及び検査装置２００の各装置との間で実行される処理シーケンスを示す図である。具体的には、図７Ａは、車載器３００への電源供給に関し、検査開始時点における状態（すなわち、車載器３００に対するハードキーの状態）を確認するために、検査者端末装置１００と検査装置２００との間で実行される処理シーケンスを示す図である。
(B) Processing related to hard key control state confirmation for vehicle-mounted
図７Ａに示すように、検査者端末装置１００は、作業者による画面の操作（押下）に対応したキー操作信号の生成処理を実行する（Ｓ２１）。具体的には、検査者端末装置１００のプロセッサ１１２は、マウス１１６ａを介した検査者の操作入力を受けてキー操作信号を生成する。ここで、検査者の操作入力とは、検査者端末装置１００のディスプレイに表示された表示情報５００のハードキー確認ボタン５４１に対して、マウス１１６ａを用いた操作（クリック）である。このため、生成されるキー操作信号は、ハードキー確認ボタン５４１の操作に関する情報を含む。そして、プロセッサ１１２は、生成されたキー操作信号を、通信インターフェイス１１４を介して主制御端末装置２０２に送信し、検査者端末装置１００から主制御端末装置２０２に対する状態取得要求が実行される（Ｔ２１）。
As shown in FIG. 7A, the
キー操作信号が主制御端末装置２０２において通信インターフェイス２１４を介して受信されると、主制御端末装置２０２のプロセッサ２１２は、ハードキー制御装置２０３に対してハードキーの状態の確認を要求するための状態確認信号を生成する（Ｓ２３）。当該状態確認信号とは、ハードキー制御装置２０３から車載器３００に対してどのような電力供給が実行され、車載器３００に関連するハードキーの状態がどのように制御されているかを確認するための制御信号である。その後、主制御端末装置２０２のプロセッサ２１２は、入出力インターフェイス２１３を介してハードキー制御装置２０３に対して生成した状態確認信号を送信し、状態確認要求の処理を実行する（Ｔ２２）。
When the key operation signal is received by the main
ハードキー制御装置２０３は、接続配線を介して状態確認信号を受信すると、ハードキー制御装置２０３のハードキー制御モジュールによる電力供給の制御に係る状態情報を生成する（Ｓ２３）。具体的には、ハードキー制御装置２０３は、当該ハードキー制御モジュールの制御状態を、車載器３００に接続された電源における電力供給状態として、現時点における車載器３００への電力制御に関する状態情報を生成する。その後、ハードキー制御装置２０３は、接続配線を介して主制御端末装置２０２に対して生成した状態情報を送信し、状態確認要求に対する応答処理を実行する（Ｔ２３）。
When the hard
なお、上述した主制御端末装置２０２に対する状態取得要求及びその後の処理については、主制御端末装置２０２のプロセッサ２１２がハードキー制御装置２０３からハードキー状態を読み出すような処理としてもよい。すなわち、ハードキー制御装置２０３において、状態情報生成処理などが実行されず、ハードキー制御モジュールの制御状態のみが主制御端末装置２０２のプロセッサ２１２によって読み出されてもよい。
It should be noted that the status acquisition request to the main
主制御端末装置２０２のプロセッサ２１２は、入出力インターフェイス２１３を介して電力供給の制御に係る状態情報を受信すると、メモリ２１１に状態情報を記憶する（Ｓ２４）。また、主制御端末装置２０２のプロセッサ２１２は、メモリ２１１に状態情報を記憶させながら、通信インターフェイス２１４を介して検査者端末装置１００に当該状態情報を送信する（Ｔ２４）。なお、主制御端末装置２０２のメモリ２１１における状態情報の記憶は必須ではなく、他の外部メモリや検査者端末装置１００のメモリ１１３において実施されてもよい。
When the
検査者端末装置１００のプロセッサ１１２は、入力インターフェイス１１６を介して受信した状態情報を、車載器３００に関連するハードキーの状態として出力インターフェイス１１１を介してディスプレイに表示する（Ｓ２５）。具体的には、図５に示した電源信号用のボタンである電源ボタン５１１、イグニッションボタン５１２、走行ボタン５１３においてＯＮ状態又はＯＦＦ状態であるか、及びカメラ接続ボタン５１４においてカメラ接続状態であるか否かが表示される。なお、本開示の実施形態においては、車載器３００には電力供給等が実施されていない状態がＳ２５において想定され、４つの各ボタンは図５に示すようにＯＦＦ又は未接続となっている。これにより、検査者は、検査開始時における車載器３００に関連するハードキー状態を、ボタンの表示から容易に確認することが可能になる。
The
（Ｃ）車載器３００の電源駆動開始に係る処理
図７Ｂは、本開示の実施形態に係る検査者端末装置１００、検査装置２００の各装置、及び車載器３００の間で実行される処理シーケンスを示す図である。具体的には、図７Ｂは、車載器３００に対する遠隔操作によって電源供給を開始し、車載器３００の電源駆動開始が確認されるまでに、検査者端末装置１００、検査装置２００、及び車載器３００の間で実行される処理シーケンスを示す図である。
(C) Process related to starting power supply drive of vehicle-mounted
図７Ｂに示すように、検査者端末装置１００は、作業者による電源ボタン５１１の操作に対応した電源ＯＮ信号の生成処理を実行する（Ｓ３１）。具体的には、検査者端末装置１００のプロセッサ１１２は、マウス１１６ａを介した検査者の操作入力を受けて電源ＯＮ信号を生成する。ここで、検査者の操作入力とは、検査者端末装置１００のディスプレイに表示された表示情報５００の電源ボタン５１１に対して、マウス１１６ａを用いた操作（クリック）又はスライドである。このため、生成される電源ＯＮ信号は、電源ボタン５１１の操作に関する情報を含む。本開示の実施形態においては、図７Ｃの破線で囲まれた領域に示すように、電源ボタン５１１がＯＮ状態に移行することになる。そして、プロセッサ１１２は、生成された電源ＯＮ信号を、通信インターフェイス１１４を介して主制御端末装置２０２に送信し、検査者端末装置１００から主制御端末装置２０２に対する車載器３００の駆動要求が実行される（Ｔ３１）。
As shown in FIG. 7B, the
主制御端末装置２０２において、通信インターフェイス２１４を介して当該電源ＯＮ信号が受信されると、主制御端末装置２０２のプロセッサ２１２は、ハードキー制御装置２０３に対して、車載器３００の駆動を開始するための電源制御信号を生成する（Ｓ３２）。その後、主制御端末装置２０２のプロセッサ２１２は、生成した電源制御信号を入出力インターフェイス２１３を介してハードキー制御装置２０３に対して送信し、電源制御要求の処理を実行する（Ｔ３２）。
When the main
ハードキー制御装置２０３は、有線通信又は無線通信を介して主制御端末装置２０２から電源ＯＮ信号を受信すると、車載器３００への電力供給に関する電源制御の処理を実行する（Ｓ３３）。具体的には、上述したハードキー制御装置２０３のハードキー制御モジュールは、受信した電源制御信号に基づいて上述した電源のスイッチング処理を実行する。これにより、ハードキー制御装置２０３から車載器３００に対して電力供給が開始される（Ｔ３３）。その後、車載器３００の駆動が開始され（Ｓ３４）、車載器３００の更なる動作制御が可能になる。
When the hard
上述したように、撮像装置２０１による車載器３００の撮像、撮像情報に関する処理、表示情報の表示については、継続して実行されている。このため、車載器３００の駆動開始後においても、撮像装置２０１による撮像（Ｓ３５）、撮像情報の送信（Ｔ３４）、撮像情報の記憶と付加（Ｓ３６）、表示情報の送信（Ｔ３５）、状態表示（Ｓ３７）に関する処理が各装置によって実行される。なお、Ｓ４５～４７、Ｔ４４、Ｔ４５に係る処理については、Ｓ１３～Ｓ１５、Ｔ１３、Ｔ１４に係る処理と同一であるため、詳細な説明は省略する。
As described above, the imaging of the vehicle-mounted
Ｔ３４において送信される撮像情報は、車載器３００の駆動が開始され、画面がＯＮ状態の情報を含む。このため、検査者端末装置１００において表示される表示情報５００は、図７Ｃに示すように、車載器３００の画面６００に主画像７００、アイコン７０１、７０２、７０３，７０４が含まれている。ここで、主画像７００はいわゆるホーム画面の画像であり、アイコン７０１～７０４は車載器３００にインストールされたアプリケーションソフトのアイコン画像である。電源ボタン５１１の操作後に、車載器３００の画面６００に各画像が表示されることにより、車載器３００の電源駆動が検査者によってリアルタイムで確認されることになる。
The imaging information transmitted in T34 includes information indicating that the vehicle-mounted
なお、車載器３００の画面６００に表示される画像の数量及び配置構成は、図７Ｃの状態に限定されることはない。当然のことながら、車載器３００の種類によって当該数量及び配置構成は異なっている。また、上記シーケンスは電源ＯＮ駆動に関する説明であったが、電源ＯＦＦの場合についても同様のシーケンスとなるが、生成される制御信号が電源ＯＦＦ信号であり、電源供給を停止する要求及び制御が実行されることになる。そして、画面６００に何も表示されないことにより、車載器３００の電源停止が検査者によってリアルタイムで確認されることになる。
The number and layout of images displayed on the
（Ｄ）車載器３００のハードキーの状態の変更に係る処理
図８Ａは、本開示の実施形態に係る検査者端末装置１００、検査装置２００の各装置、及び車載器３００の間で実行される処理シーケンスを示す図である。具体的には、図８Ａは、車載器３００に対する遠隔操作によるハードキーに関する制御の開始から制御結果が確認されるまでに、検査者端末装置１００、検査装置２００、及び車載器３００の間で実行される処理シーケンスを示す図である。
(D) Process related to change of state of hard key of vehicle-mounted
図８Ａに示すように、検査者端末装置１００は、車載器３００に関連するハードキー（車載器３００上のハードキー及びステアリングスイッチ）に対応した各種ボタンのいずれかの操作に対応したキー操作信号の生成処理を実行する（Ｓ４１）。具体的には、検査者端末装置１００のプロセッサ１１２は、マウス１１６ａを介した検査者の操作入力を受けてキー操作信号を生成する。ここで、検査者の操作入力とは、検査者端末装置１００のディスプレイに表示された表示情報５００のキー操作用のボタン又はステアリングスイッチ用のボタンのいずれかに対して、マウス１１６ａを用いた操作（クリック）である。このため、生成されるキー操作信号は、キー操作用のボタン又はステアリングスイッチ用のボタンのいずれかの操作に関する情報を含む。
As shown in FIG. 8A, the
以下においては、図８Ｂの破線で囲むように、音量アップボタン５２３が操作された場合について説明する。そして、プロセッサ１１２は、生成されたキー操作信号を、通信インターフェイス１１４を介して主制御端末装置２０２に送信し、検査者端末装置１００から主制御端末装置２０２に対して、車載器３００のハードキーに関する制御要求が実行される（Ｔ４１）。
In the following, the case where the volume up
主制御端末装置２０２において、通信インターフェイス２１４を介してキー操作信号が受信されると、主制御端末装置２０２のプロセッサ２１２は、車載器３００に対して、ハードキーによる車載器３００の制御を開始するためのハードキー制御信号を生成する（Ｓ４２）。ここで、ハードキー制御信号とはハード制御信号の一種であり、音量アップボタン５２３が操作された場合には、ハードキー制御信号とは音量アップに関するハード制御情報を含む。その後、主制御端末装置２０２のプロセッサ２１２は、生成したハードキー制御信号を入出力インターフェイス２１３を介して車載器３００に対して送信し、キー制御要求の処理を実行する（Ｔ４２）。
When the main
車載器３００は、有線通信又は無線通信を介して主制御端末装置２０２からハードキー制御信号を受信すると、当該ハードキー制御信号に対応した制御を実行する。すなわち、車載器３００においては音量アップボタン５２３に対応する制御処理が実行され、車載器３００の出力ボリュームが一段階増加するような駆動処理が実行される（Ｓ４３）。
Upon receiving a hard key control signal from the main
上述したように、撮像装置２０１による車載器３００の撮像、撮像情報に関する処理、表示情報の表示については、継続して実行されている。このため、車載器３００の出力ボリュームの変更後においても、撮像装置２０１による撮像（Ｓ４４）、撮像情報の送信（Ｔ４３）、撮像情報の記憶と付加（Ｓ４５）、表示情報の送信（Ｔ４４）、状態表示（Ｓ４６）に関する処理が各装置によって実行される。なお、Ｓ４４～４６、Ｔ４３、Ｔ４４に係る処理については、Ｓ１３～Ｓ１５、Ｔ１３、Ｔ１４に係る処理と同一であるため、詳細な説明は省略する。
As described above, the imaging of the vehicle-mounted
Ｔ４３において送信される撮像情報は、車載器３００の出力ボリュームの変更に関する情報を含む。このため、検査者端末装置１００において表示される表示情報５００において、図８Ｂに示すように、主画像７００に音量ゲージ（音量メータ）７１０が表示され、かつ音量ゲージが一段階上がった状態が表示される。音量アップボタン５２３の操作後に、車載器３００の画面６００に音量ゲージが一段階上がった状態の画像が表示されることにより、車載器３００における音量変更がリアルタイムで確認されることになる。当然のことながら、音量アップボタン５２３が連続して操作された場合や、音量アップボタン５２３及び音量ダウンボタン５２４が交互に操作された場合には、音量ゲージ７１０における表示が段階的に変化することになり、車載器３００における音量変更が適格にできていることが確認されることになる。
The imaging information transmitted in T43 includes information regarding the change in the output volume of the vehicle-mounted
なお、車載器３００の主画像７００に表示される音量ゲージ７１０の画像は、図８Ｂの状態に限定されることはない。当然のことながら、車載器３００の種類によって表示方式が異なる。
Note that the image of the
上記説明においては、音量アップボタン５２３の操作を検出した場合が前提となっていたが、他のハードキーに対応したボタン（キー操作用のボタン又はステアリングスイッチ用のボタン）の操作を検出した場合にも、主制御端末装置２０２のプロセッサ２１２は、各ボタンに対応した駆動要求を実行し、車載器３００が当該駆動要求に対応した駆動を行い、当該駆動結果が表示情報５００において含まれることになる。
In the above explanation, it is assumed that the operation of the volume up
（Ｅ）検査者端末装置１００に表示される車載器３００の画面と車載器３００の実際の画面との同期に係る処理
図９Ａは、本開示の実施形態に係る検査者端末装置１００、主制御端末装置２０２との間で実行される処理シーケンスを示す図である。具体的には、図９Ａは、検査者端末装置１００に表示される車載器３００の画面と車載器３００の実際の画面とが同期されるまでに、検査者端末装置１００と主制御端末装置２０２との間で実行される処理シーケンスを示す図である。
(E) Processing related to synchronization between the screen of the vehicle-mounted
先ず、検査者端末装置１００に表示される車載器３００の画面と車載器３００の実際の画面との同期を実行するためには、車載器３００の画面サイズに関する情報が必須となる。このため、図９Ａに示すように、検査者端末装置１００は、車載器３００の画面サイズに関する画面サイズ選択信号を生成する（Ｓ５１）。具体的には、検査者端末装置１００のプロセッサ１１２は、入力インターフェイス１１６を介した検査者の操作入力を受け、車載器３００の画面サイズ選択信号を生成する。ここで、検査者の操作入力とは、マウス１１６ａ及びキーボード１１６ｂを用いて、検査者端末装置１００のディスプレイに表示された車載器３００の種別の選択若しくは入力、又は画面サイズの直接入力等である。また、当該画面サイズ選択信号には、検査対象物である車載器３００の画面の縦寸法及び横寸法に関する情報が含まれる。そして、プロセッサ１１２は、生成された画面サイズ選択信号を、通信インターフェイス１１４を介して主制御端末装置２０２に送信し、検査対象物となる車載器３００の画面サイズの登録要求の処理を実行する（Ｔ５１）。
First, in order to synchronize the screen of the vehicle-mounted
主制御端末装置２０２において通信インターフェイス２１４を介して画面サイズ選択信号が受信されると、主制御端末装置２０２のプロセッサ２１２は、画面サイズ選択信号をメモリ２１１に記憶する。すなわち、主制御端末装置２０２において、検査対象物となる車載器３００の画面サイズが設定登録される（Ｓ５２）。当該設定登録が完了すると、主制御端末装置２０２のプロセッサ２１２は、メモリ２１１からプログラムを読み出して実行する際に、車載器３００の画面サイズを利用することが可能になる。
When main
なお、主制御端末装置２０２のメモリ２１１に、車載器３００とその画面サイズの情報が結びついて記憶されている場合には、車載器３００の情報のみが選択信号として送信されてもよい。そして、主制御端末装置２０２のプロセッサ２１２は、受信した車載器３００の情報に紐づいた画面サイズの情報をメモリ２１１から読み出してもよい。
If the
その後、検査者端末装置１００に表示される車載器３００の画面と車載器３００の実際の画面との同期が検査者から要求されると、検査者端末装置１００は、表示情報５００における同期対象である画面領域を決定するための画面領域選択信号を生成する（Ｓ５３）。具体的には、検査者端末装置１００のプロセッサ１１２は、マウス１１６ａを介した検査者の操作入力を受けて画面領域選択信号を生成する。ここで、画面領域選択信号は、単なる領域の選択信号だけでなく、以下に説明する検査者の操作入力に関する３つ目の処理（制御要求処理）に対応した信号を含む。
After that, when the inspector requests synchronization of the screen of the vehicle-mounted
ここで、検査者の操作入力とは、以下の３つの処理となる。１つ目の処理は、図９Ｂの画面６００に示された矢印のように、検査者端末装置１００のディスプレイに表示された表示情報５００において、画面６００を選択する操作である。より具体的には、画面６００の任意の頂点におけるマウスのクリックによって始点が決定され、当該始点から対角線を描くようにマウスポインター（カーソル）が移動され、当該対角線上の他の頂点におけるマウスのクリックによって終点が決定され、画面６００が選択されることになる。すなわち、一般的な矩形の描画処理によって画面６００の選択処理が実行される。
Here, the operation input by the inspector includes the following three processes. The first process is an operation of selecting the
２つ目の処理は、図９Ｂの破線で囲まれている部分において、画面ロックボタン５４２を操作して選択した範囲を確定する操作である。３つ目の処理は、図９Ｂの破線で囲まれている部分において、座標制御開始ボタン５４３を操作して後述する座標転換処理及び同期後の画面からの制御要求処理を可能にする操作である。これらの処理後に当該座標転換処理が実行されるため、画面６００の範囲選択後において、再度のマウスの使用により、意図しない範囲の変更が生じることを防止し、本シーケンスに係る画面の同期に関する処理の要求を明確にすることが可能になる。
The second process is an operation to confirm the selected range by operating the
その後、検査者端末装置１００のプロセッサ１１２は、生成された画面領域選択信号を、通信インターフェイス１１４を介して主制御端末装置２０２に送信する（Ｔ５２）。当該画面領域選択信号が主制御端末装置２０２において通信インターフェイス２１４を介して受信されると、主制御端末装置２０２のプロセッサ２１２は、メモリ２１１に記憶された座標転換処理のプログラムを読み出して実行し、検査者端末装置１００に表示される車載器３００の画面と車載器３００の実際の画面との同期を実行する。換言すると、検査者によって選択された画面領域が、車載器３００の実際の画面サイズに転換されることになる。これにより、車載器３００の実際の画面上のソフトキーと表示情報５００におけるソフトキーボタンとが同期し、検査者端末装置１００に表示される車載器３００の画面上のソフトキーボタンを操作することで、車載器３００の実際のソフトキーが操作されたこととなり、ソフトキーの遠隔操作による検査が実施可能になる。なお、座標転換処理の詳細説明については、主制御端末装置の処理フローの説明の際に行う。
After that, the
なお、本開示の実施形態においては、画面６００が矩形であることが前提となっていたが、マウス１１６ａによる画面領域選択が可能であれば、画面形状は円形、楕円、四角形以外の多角形であってもよい。ただし、複雑な形状については座標転換処理が煩雑となり、同期の精度が低下するため、矩形や円形等の単純な形状が好ましい。
In the embodiment of the present disclosure, it is assumed that the
（Ｆ）同期後の車載器３００のソフトキーの状態の変更に係る処理
図１０Ａは、本開示の実施形態に係る検査者端末装置１００、検査装置２００の各装置、及び車載器３００の間で実行される処理シーケンスを示す図である。具体的には、図１０Ａは、遠隔操作による車載器３００のソフトキーに関する制御の開始から制御結果が確認されるまでに、検査者端末装置１００、検査装置２００、及び車載器３００の間で実行される処理シーケンスを示す図である。
(F) Processing related to changing the state of the soft key of the vehicle-mounted
図１０Ａに示すように、検査者端末装置１００は、車載器３００に関連するソフトキーボタンに対応した各種ボタンのいずれかの操作に対応したボタン操作信号の生成処理を実行する（Ｓ６１）。具体的には、検査者端末装置１００のプロセッサ１１２は、マウス１１６ａを介した検査者の操作入力を受けてボタン操作信号を生成する。ここで、検査者の操作入力とは、検査者端末装置１００のディスプレイに表示された映像表示部５０１内の画面６００に含まれる主画像７００、又はアイコン７０１～７０４のいずれかに対して、マウス１１６ａを用いた操作（クリック）である。このため、生成されるボタン操作信号は、主画像７００、又はアイコン７０１～７０４のボタンのいずれかの操作に関する情報を含む。
As shown in FIG. 10A, the
以下においては、図１０Ｂの破線で囲むように、アイコン７０１が操作された場合について説明する。そして、プロセッサ１１２は、生成されたボタン操作信号を、通信インターフェイス１１４を介して主制御端末装置２０２に送信し、検査者端末装置１００から主制御端末装置２０２に対する車載器３００のソフトキーに関する制御要求が実行される（Ｔ６１）。
In the following, the case where the
主制御端末装置２０２において、通信インターフェイス２１４を介してボタン操作信号が受信されると、主制御端末装置２０２のプロセッサ２１２は、車載器３００に対して、ソフトキーによる車載器３００の制御を開始するためのソフトウェア制御信号を生成する（Ｓ６２）。ここで、アイコン７０１が操作された場合を想定するため、ソフトウェア制御信号とは、アイコン７０１に関連するアプリケーションソフトの起動に関する制御情報を含む。その後、主制御端末装置２０２のプロセッサ２１２は、生成したソフトウェア制御信号を入出力インターフェイス２１３を介して車載器３００に対して送信し、キー制御要求の処理を実行する（Ｔ６２）。
When the main
車載器３００は、有線通信又は無線通信を介して主制御端末装置２０２からソフトウェア制御信号を受信すると、車載器３００のプロセッサがメモリに記憶されたプログラムを読み出して実行する。すなわち、車載器３００においてはアイコン７０１に対応するアプリケーションソフト起動に関する駆動処理が実行され、車載器３００の画面上にその操作画面等が表示される。
When the vehicle-mounted
上述したように、撮像装置２０１による車載器３００の撮像、撮像情報に関する処理、表示情報の表示については、継続して実行されている。このため、車載器３００におけるアプリケーションソフト起動後においても、撮像装置２０１による撮像（Ｓ６４）、撮像情報の送信（Ｔ６３）、撮像情報の記憶と付加（Ｓ６５）、表示情報の送信（Ｔ６４）、状態表示（Ｓ６６）に関する処理が各装置によって実行される。なお、Ｓ６４～６６、Ｔ６３、Ｔ６４に係る処理については、Ｓ１３～Ｓ１５、Ｔ１３、Ｔ１４に係る処理と同一であるため、詳細な説明は省略する。
As described above, the imaging of the vehicle-mounted
Ｔ６３において送信される撮像情報は、車載器３００におけるアプリケーションソフト起動後の状態に関する情報を含む。このため、検査者端末装置１００において表示される表示情報５００において、図１０Ｃに示すように、画面６００にアイコン７０１に対応するアプリケーションソフトの起動画面８００が表示される。これにより、車載器３００のアプリケーションソフトの起動に関する検査が遠隔にて実施され、検査者によってその結果が確認される。当然のことながら、起動画面８００上の操作可能なボタンが、表示情報５００において操作されて検査が進む場合にも、図１０Ａに示すシーケンスと同様の流れにより、遠隔による検査が継続して実行されることになる。
The imaging information transmitted in T63 includes information about the state after application software activation in the vehicle-mounted
（Ｇ）同期後の車載器３００のソフトキーによる電源制御に係る処理
図１１は、本開示の実施形態に係る検査者端末装置１００、検査装置２００の各装置、及び車載器３００の間で実行される処理シーケンスを示す図である。具体的には、図１１は、車載器３００に対する遠隔操作によるソフトキーに関する制御（電源停止制御）の開始から制御結果が確認されるまでに、検査者端末装置１００、検査装置２００、及び車載器３００の間で実行される処理シーケンスを示す図である。
(G) Process related to power supply control by soft key of
図１１に示すように、検査者端末装置１００は、作業者によるソフトキーボタンの操作に対応した電源ＯＦＦ信号の生成処理を実行する。具体的には、検査者端末装置１００のプロセッサ１１２は、マウス１１６ａを介した検査者の操作入力を受けて電源ＯＦＦ信号を生成する（Ｓ７１）。ここで、検査者の操作入力とは、検査者端末装置１００のディスプレイに表示された映像表示部５０１内の画面６００に含まれるソフトキーボタンの１つである電源ボタン（図示せず）に対して、マウス１１６ａを用いた操作（クリック）である。このため、生成される電源ＯＦＦ信号は、車載器３００への電源供給に関する情報を含む。
As shown in FIG. 11, the terminal device for
その後、プロセッサ１１２は、生成された電源ＯＦＦ信号を、通信インターフェイス１１４を介して主制御端末装置２０２に送信し、検査者端末装置１００から主制御端末装置２０２に対する車載器３００の駆動停止要求が実行される（Ｔ７１）。
After that, the
当該電源ＯＦＦ信号が主制御端末装置２０２において通信インターフェイス２１４を介して受信されると、主制御端末装置２０２のプロセッサ２１２は、ハードキー制御装置２０３に対して、車載器３００の駆動を停止するための電源制御信号を生成する（Ｓ７２）。その後、主制御端末装置２０２のプロセッサ２１２は、入出力インターフェイス２１３を介してハードキー制御装置２０３に対して生成した電源制御信号を送信し、電源制御要求の処理を実行する（Ｔ７２）。
When the main
ハードキー制御装置２０３は、有線通信又は無線通信を介して主制御端末装置２０２から電源ＯＦＦ信号を受信すると、車載器３００への電力供給に関する電源制御の処理を実行する（Ｓ７３）。具体的には、上述したハードキー制御装置２０３のハードキー制御モジュールは、受信した電源制御信号に基づいて上述した電源のスイッチング処理を実行する。これにより、ハードキー制御装置２０３から車載器３００に対して電力供給が停止される（Ｔ７３）。その後、車載器３００の駆動が停止され（Ｓ７４）、車載器３００の電源がＯＦＦ状態となる。
When the hard
上述したように、撮像装置２０１による車載器３００の撮像、撮像情報に関する処理、表示情報の表示については、継続して実行されている。このため、車載器３００の駆動開始後においても、撮像装置２０１による撮像（Ｓ７５）、撮像情報の送信（Ｔ７４）、撮像情報の記憶と付加（Ｓ７６）、表示情報の送信（Ｔ７５）、状態表示（Ｓ７７）に関する処理が各装置によって実行される。なお、Ｓ７５～７７、Ｔ７４、Ｔ７５に係る処理については、Ｓ１３～Ｓ１５、Ｔ１３、Ｔ１４に係る処理と同一であるため、詳細な説明は省略する。
As described above, the imaging of the vehicle-mounted
Ｔ３４において送信される撮像情報は、車載器３００の駆動が停止され、画面がＯＦＦ状態の情報を含む。このため、検査者端末装置１００において表示される表示情報５００において、図６Ｂに示すように、車載器３００の画面６００には何も表示されていない状態となる。これにより、車載器３００のソフトキーである電源ボタンに対応した、表示情報５００に埋め込まれたソフトキーボタンの操作後に、車載器３００の画面６００には何も表示されなくなり、車載器３００の駆動停止が検査者によってリアルタイムで確認されることになる。
The imaging information transmitted in T34 includes information indicating that the vehicle-mounted
７．主制御端末装置２０２において実行される処理フロー
以下、図９Ａに記載された画面の同期に係る処理おいて、主制御端末装置２０２において実行される処理フローを具体的に説明する。
7. Processing Flow Executed in Main
図１２は、本開示の実施形態に係る主制御端末装置２０２において実行される処理フローを示す図である。当該処理フローは、主に主制御端末装置２０２のプロセッサ２１２がメモリ２１１に記憶されたプログラムを読み出して実行することにより行われる。
FIG. 12 is a diagram showing a processing flow executed in the main
図１２に示すように、プロセッサ２１２は、通信インターフェイス２１４を介して、検査者端末装置１００から画面領域選択信号を受信したか否かを判断する（Ｓ１１１）。ここで、画面領域選択信号は、Ｓ５３で説明した通り、単なる領域の選択信号だけでなく、検査者の操作入力に関する３つ目の処理（制御要求処理）に対応した信号を含んでいる。画面領域選択信号を受信しない場合（Ｓ１１１：Ｎｏ）、本処理フローは終了する。一方、画面領域選択信号を受信した場合（Ｓ１１１：Ｙｅｓ）、プロセッサ２１２は、現在の検査実施中の車載器に関する情報（車載器情報）がメモリ２１１に設定済みか否かを判定する（Ｓ１１２）。ここで、車載器情報は、検査対象物として選択した車載器３００の型番、仕様、及び画面サイズの情報を含んでいる。
As shown in FIG. 12, the
車載器情報が設定されていない場合（Ｓ１１２：Ｎｏ）、プロセッサ２１２は、通信インターフェイス２１４を介して、検査者端末装置１００に車載器情報の入力要求を行う（Ｓ１１３）。具体的には、プロセッサ２１２は入力供給信号を通信インターフェイス２１４を介して検査者端末装置１００に送信し、検査者端末装置１００のディスプレイに車載器情報の未入力である旨を表示される。その後、検査者によって車載器情報が入力されれば、プロセッサ２１２は、通信インターフェイス２１４を介してＳ５１における画面選択サイズ信号を車載器情報として受信する（Ｓ１１４）。また、主制御端末装置２０２のプロセッサ２１２は、車載器情報をメモリ２１１に記憶し、いつでも読出し可能な状態にする。なお、車載器情報が設定されている場合（Ｓ１１２：Ｙｅｓ）、Ｓ１１３及びＳ１１４を省略してＳ１１５に進む。
If the onboard device information is not set (S112: No), the
次に、プロセッサ２１２は、メモリ２１１に記憶された車載器情報から画面サイズに関する情報を読み出す（Ｓ１１６）。そして、プロセッサ２１２は、メモリ２１１に記憶された座標転換処理のプログラムを読み出して実行し、検査者によって選択された画面領域を車載器３００の実際の画面サイズに転換する（Ｓ１１５）。本処理によって、検査者端末装置１００に表示される車載器３００の画面と車載器３００の実際の画面とが同期することになる。ここで、車載器３００の実際の画面サイズが例えば８インチ（幅１６３ｍｍ×高さ１２２ｍｍ）である場合に、選択された画面領域の寸法が幅８１．５ｍｍ×高さ６１であって実際の画面サイズの半分とすると、具体的な転換処理として、プロセッサ２１２は幅及び高さを２倍とし、選択された画面領域内のＸ座標及びＹ座標上を実際の画面サイズにおけるＸ座標及びＹ座標に座標転換を行う。これにより、選択された画面領域上の各点は、車載器３００の実際の画面上の点と対応するため、表示情報５００におけるソフトキーボタンの範囲が、車載器３００の実際の画面上におけるソフトキーの範囲と一致し、ソフトキーボタンとソフトキーとの同期が可能となる。したがって、操作者が検査者端末装置１００のディスプレイに表示された表示情報５００内のソフトキーボタンを操作すると、車載器３００の実際の画面上のソフトキーが操作されたことと同様の処理の実行が可能になる。
Next, the
その後、通信インターフェイス２１４を介してボタン操作信号が受信されると、主制御端末装置２０２のプロセッサ２１２は、車載器３００の実際の画面上のソフトキーに対応したソフトキーボタンの操作があったと判断する。すなわち、プロセッサ２１２は、検査者端末装置１００のディスプレイの画面上の操作を確認する（Ｓ１１７）。そして、主制御端末装置２０２のプロセッサ２１２は、ソフトキー操作による車載器３００の制御を開始するためのソフトウェア制御信号を生成し、車載器３００に対して当該ソフトウェア制御信号を送信する（Ｓ１１８）。
After that, when the button operation signal is received via the
８．本開示の実施形態のまとめ
本開示の実施形態に係る検査装置２００は、車載器３００の動作を遠隔で動作させる装置であって、車載器３００の動作を制御するための処理を実行する少なくとも一つのプロセッサ２１２を具備する。ここで、プロセッサ２１２は、撮像装置２０１から供給される車載器３００の撮像情報をディスプレイにリアルタイムで出力し、車載器３００を制御するためのボタンを撮像情報に付加してディスプレイに出力し、当該ボタンの操作が検出された場合には、当該ボタンに対応した車載器３００を制御するための制御信号を生成するための処理を実行するように構成されている。このような構成により、操作者は、車載器３００の状態をリアルタイムで確認しつつ、検査を実施することが可能となる。特に、検査者は、検査装置２００に接続された端末装置のみを操作するだけ、検査を円滑に行うことが可能になる。すなわち、検査者の負担が軽減され、簡単な操作によって車載器３００の検査を遠隔で高精度に行うことが可能になる。
8. Summary of the embodiment of the present disclosure The
また、本開示の実施形態に係る検査装置２００において、車載器３００を制御するためのボタンを撮像情報に付加することは、車載器３００のハードウェアキーを模擬したハードキーボタンを当該撮像情報に併設すること、又は車載器３００と連動する他の装置のハードウェアキーを模擬したハードキーボタンを当該撮像情報に併設することを含んでいる。更に、当該制御信号は、当該ハードキーボタンに対応した電源制御信号を含んでいる。これにより、検査者は、車載器３００又はこれに連動する他の装置を操作している感覚で、車載器３００の検査を遠隔によって行うことができる。特に、検査者は、車載器３００の検査項目のうち、特に重要となる電源に関連した動作の検査項目を遠隔で高精度に行うことができる。
In addition, in the
また、本開示の実施形態に係る検査装置２００において、車載器３００を制御するためのボタンを撮像情報に付加することは、車載器３００の画面上のソフトキーを模擬したソフトキーボタンを埋め込むことを含んでいる。これにより、検査者は、車載器３００のソフトウェアを実際に操作している感覚で、車載器３００の検査を遠隔によって行うことができる。
In addition, in the
更に、本開示の実施形態に係る検査装置２００において、プロセッサ２１２は、当該ソフトキーと当該ソフトキーボタンを同期させるための処理を実行する。特に、プロセッサ２１２は、検査者が当該撮像情報から車載器３００の画面を選択した画面領域を、車載器３００の画面サイズに転換するための処理を実行するように構成されている。これにより、これにより、選択された画面領域上の各点は、車載器３００の実際の画面上の点と対応するため、表示情報５００におけるソフトキーボタンの範囲が、車載器３００の実際の画面上におけるソフトキーの範囲と一致する。そして、操作者が検査者端末装置１００のディスプレイに表示された表示情報５００内のソフトキーボタンを操作すると、車載器３００の実際の画面上のソフトキーが操作されたことと同様の処理の実行が可能になる。
Furthermore, in the
更に、当該制御信号は、当該ソフトキーボタンに対応したソフトウェア制御信号又は電源制御信号を含んでいる。これにより、検査者は、車載器３００の検査項目のうち、特に重要となるソフトウェア関連検査、及び電源に関連した動作の検査項目を遠隔で高精度に行うことができる。
Further, the control signals include software control signals or power control signals corresponding to the softkey buttons. As a result, the inspector can remotely and highly accurately perform a software-related inspection and a power-related operation inspection item, which are particularly important among the inspection items of the vehicle-mounted
本開示の実施形態に係る検査装置２００のおける検査プログラムは、プロセッサ２１２を、撮像装置２０１から供給される車載器３００の撮像情報をディスプレイにリアルタイムで出力し、車載器３００を制御するためのボタンを撮像情報に付加してディスプレイにリアルタイムで出力し、当該ボタンの操作が検出された場合には、当該ボタンに対応した車載器３００を制御するための制御信号を生成し、車載器３００の動作を当該制御信号に基づいて制御するように機能させる。このような検査プログラムにより、操作者は、車載器３００の状態をリアルタイムで確認しつつ、検査を実施することが可能となる。特に、検査者は、検査装置２００に接続された端末装置のみを操作するだけ、検査を円滑に行うことが可能になる。すなわち、検査者の負担が軽減され、簡単な操作によって車載器３００の検査を遠隔で高精度に行うことが可能になる。
The inspection program in the
本開示の実施形態に係る検査装置２００による検査方法は、プロセッサ２１２によって実行され、撮像装置２０１から供給される車載器３００の撮像情報をディスプレイにリアルタイムで出力する段階と、車載器３００を制御するためのボタンを当該撮像情報に付加してディスプレイに出力する段階と、当該ボタンの操作が検出された場合には、当該ボタンに対応した車載器３００を制御するための制御信号を生成する段階と、車載器３００の動作を当該制御信号に基づいて制御する段階とを含んでいる。このような検査方法により、操作者は、車載器３００の状態をリアルタイムで確認しつつ、検査を実施することが可能となる。特に、検査者は、検査装置２００に接続された端末装置のみを操作するだけ、検査を円滑に行うことが可能になる。すなわち、検査者の負担が軽減され、簡単な操作によって車載器３００の検査を遠隔で高精度に行うことが可能になる。
The inspection method by the
９．変形例
上記において、検査装置２００は、キーに関わる制御装置だけでなく、インジケータ等の状態（スピード、回転数、車両の揺れ、空調温度等の表示）を制御するためのＣＡＮ制御装置を備えてもよい。例えば、検査対象である検査装置２００がスピードメータの場合には、当該ＣＡＮ制御装置から所定のスピードを示す制御信号を当該スピードメータに供給し、当該スピードメータが所定のスピードを表示しているか否かを確認することができる。ここで、スピード表示の確認は、撮像装置２０１から供給される映像を利用することになる。また、主制御端末装置２０２のプロセッサ２１２は、検査者端末装置１００から当該ＣＡＮ制御装置を制御可能とするために、撮像情報にＣＮＡ制御のための入力画面表示情報を付加することになる。すなわち、表示情報にＣＡＮ制御のための入力画面情報が含まれることになり、当該入力画面情報によって表示される入力画面にＣＡＮ制御装置への制御要求が検査者によって入力されることにより、インジケータの制御が可能になる。
9. Modification In the above, the
上記において、表示情報５００に音声を含まない映像が付加されている場合を説明したが、車載器３００の映像に音の情報が更に含まれていてもよい。この場合に、検査者端末装置１００の出力インターフェイス１１１の一例としてスピーカーが接続され、当該スピーカーから車載器３００から出力される音が確認されてもよい。例えば、車載器３００の音量制御に関する検査に対して好適であり、車載器３００の音量の変化を遠隔にて容易に確認でき、検査の精度及びスピードを向上させることができる。
In the above description, the case where the
上記において、検査者によるボタンの操作はマウス１１６ａによるクリックを前提としていが、検査者端末装置１００の入力インターフェイス１１６としてタッチパネルが使用される場合には、当該タッチパネルのタッチ操作がボタンの操作となる。すなわち、検査者端末装置１００におけるボタンの操作を認識することができれば、操作方法は入力インターフェイス１１６に対応させて適宜異なることになる。
In the above description, the button operation by the inspector is based on the assumption that the
本明細書で説明される処理及び手順は、本開示において明示的に説明されたものによってのみならず、ソフトウェア、ハードウェア又はこれらの組み合わせによっても実現可能である。具体的には、本明細書で説明された処理及び手順は、集積回路、揮発性メモリ、不揮発性メモリ、磁気ディスク、光ストレージ等の媒体に、当該処理に相当するロジックを実装することによって実現される。また、本明細書で説明される処理及び手順は、それらの処理・手順をコンピュータプログラムとして実装し、端末装置やサーバ装置を含む各種のコンピュータに実行させることが可能である。 The processes and procedures described herein can be implemented not only by those explicitly described in this disclosure, but also by software, hardware, or a combination thereof. Specifically, the processes and procedures described herein are implemented by implementing logic corresponding to the processes in media such as integrated circuits, volatile memories, non-volatile memories, magnetic disks, and optical storage. be done. Further, the processes and procedures described in this specification can be implemented as computer programs and executed by various computers including terminal devices and server devices.
本明細書中で説明される処理及び手順が単一の装置、ソフトウェア、コンポーネント、モジュールによって実行される旨が説明されたとしても、そのような処理又は手順は、複数の装置、複数のソフトウェア、複数のコンポーネント、及び／又は、複数のモジュールによって実行されるものとすることができる。また、本明細書中で説明される各種情報が単一のメモリや記憶部に格納される旨が説明されたとしても、そのような情報は、単一の装置に備えられた複数のメモリ又は複数の装置に分散して配置された複数のメモリに分散して格納されるものとすることができる。さらに、本明細書において説明されるソフトウェア及びハードウェアの要素は、それらをより少ない構成要素に統合して、又は、より多い構成要素に分解することによって実現されるものとすることができる。 Although the processes and procedures described herein are described as being performed by a single device, software, component, module, such processes or procedures may be performed by multiple devices, multiple software, It may be performed by multiple components and/or multiple modules. In addition, even if it is explained that various information described in this specification is stored in a single memory or storage unit, such information may be stored in a plurality of memories provided in a single device or It can be distributed and stored in a plurality of memories arranged in a plurality of devices. Furthermore, the software and hardware elements described herein may be implemented by integrating them into fewer components or by decomposing them into more components.
１００ 検査者端末装置
２００ 検査装置
２０２ 主制御端末装置
３００ 車載器
100
Claims (10)
前記電子機器の動作を制御するための処理を実行する少なくとも一つのプロセッサを具備し、
前記少なくとも一つのプロセッサは、
撮像装置から供給される前記電子機器の画面の撮像情報をディスプレイにリアルタイムで出力し、
前記電子機器を制御するためのボタンを前記撮像情報に付加して前記ディスプレイにリアルタイムで出力し、
前記ボタンの操作が検出された場合には、前記ボタンに対応した前記電子機器を制御するための制御信号を生成する、
ための処理を実行するように構成され、
前記付加は、前記電子機器の画面上のソフトキーを模擬したソフトキーボタンを埋め込むことを含む、
処理装置。 A processing device for remotely operating an electronic device,
comprising at least one processor that executes processing for controlling the operation of the electronic device;
The at least one processor
outputting the imaging information of the screen of the electronic device supplied from the imaging device to the display in real time;
adding a button for controlling the electronic device to the imaging information and outputting it to the display in real time;
generating a control signal for controlling the electronic device corresponding to the button when an operation of the button is detected;
configured to perform processing for
The addition includes embedding softkey buttons that simulate softkeys on the screen of the electronic device.
processing equipment.
撮像装置から供給される電子機器の撮像情報をディスプレイにリアルタイムで出力し、
前記電子機器を制御するためのボタンを前記撮像情報に付加してディスプレイにリアルタイムで出力し、
前記ボタンの操作が検出された場合には、前記ボタンに対応した前記電子機器を制御するための制御信号を生成し、
前記電子機器の動作を前記制御信号に基づいて制御する、
ように機能させ、
前記付加は、前記電子機器の画面上のソフトキーを模擬したソフトキーボタンを埋め込むことを含む、
処理プログラム。 In a computer comprising at least one processor, said at least one processor comprising:
Output the imaging information of the electronic device supplied from the imaging device to the display in real time,
adding a button for controlling the electronic device to the imaging information and outputting it to a display in real time;
generating a control signal for controlling the electronic device corresponding to the button when an operation of the button is detected;
controlling the operation of the electronic device based on the control signal;
function as
The addition includes embedding softkey buttons that simulate softkeys on the screen of the electronic device.
processing program.
撮像装置から供給される電子機器の撮像情報をディスプレイにリアルタイムで出力する段階と、
前記電子機器を制御するためのボタンを前記撮像情報に付加してディスプレイにリアルタイムで出力する段階と、
前記ボタンの操作が検出された場合には、前記ボタンに対応した前記電子機器を制御するための制御信号を生成する段階と、
前記電子機器の動作を前記制御信号に基づいて制御する段階と、
を含み、
前記付加は、前記電子機器の画面上のソフトキーを模擬したソフトキーボタンを埋め込むことを含む、
処理方法。 1. A processing method performed by at least one processor in a computer comprising at least one processor, comprising:
a step of outputting the imaging information of the electronic device supplied from the imaging device to a display in real time;
adding a button for controlling the electronic device to the imaging information and outputting it to a display in real time;
generating a control signal for controlling the electronic device corresponding to the button when an operation of the button is detected;
controlling operation of the electronic device based on the control signal;
including
The addition includes embedding softkey buttons that simulate softkeys on the screen of the electronic device.
Processing method.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2022122625A JP7222139B1 (en) | 2022-08-01 | 2022-08-01 | Processing device, processing program and processing method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2022122625A JP7222139B1 (en) | 2022-08-01 | 2022-08-01 | Processing device, processing program and processing method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP7222139B1 true JP7222139B1 (en) | 2023-02-14 |
| JP2024019879A JP2024019879A (en) | 2024-02-14 |
Family
ID=85202282
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2022122625A Active JP7222139B1 (en) | 2022-08-01 | 2022-08-01 | Processing device, processing program and processing method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7222139B1 (en) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014102572A (en) | 2012-11-16 | 2014-06-05 | ＮＥＵＳＯＦＴ Ｊａｐａｎ株式会社 | Test system and test program |
| JP2015082834A (en) | 2014-01-31 | 2015-04-27 | ＮＥＵＳＯＦＴ Ｊａｐａｎ株式会社 | Remote operation reception system, remote operation system, and program |
| JP2016091092A (en) | 2014-10-30 | 2016-05-23 | キヤノンマーケティングジャパン株式会社 | Browser, control method of browser, and program |
-
2022
- 2022-08-01 JP JP2022122625A patent/JP7222139B1/en active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014102572A (en) | 2012-11-16 | 2014-06-05 | ＮＥＵＳＯＦＴ Ｊａｐａｎ株式会社 | Test system and test program |
| JP2015082834A (en) | 2014-01-31 | 2015-04-27 | ＮＥＵＳＯＦＴ Ｊａｐａｎ株式会社 | Remote operation reception system, remote operation system, and program |
| JP2016091092A (en) | 2014-10-30 | 2016-05-23 | キヤノンマーケティングジャパン株式会社 | Browser, control method of browser, and program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2024019879A (en) | 2024-02-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5134721B1 (en) | Portable ultrasound system | |
| CN111177013B (en) | Log data acquisition method, device, computer equipment and storage medium | |
| CN113064823B (en) | Method and device for testing functions of parts of automobile and computer storage medium | |
| JP2012128473A (en) | Image processing apparatus and image processing method | |
| JP6928341B2 (en) | Construction management system, construction management method, noise measurement method, mobile terminal and program | |
| JP6059789B1 (en) | Ultrasound diagnostic system | |
| CN113936699B (en) | Audio processing method, device, equipment and storage medium | |
| CN113076051A (en) | Slave control terminal synchronization method, device, terminal and storage medium | |
| CN101991434A (en) | Ultrasound diagnostic imaging device, and method for generating ultrasound images | |
| CN114594923A (en) | Control method, device and equipment of vehicle-mounted terminal and storage medium | |
| CN112052167A (en) | Method and device for generating test script code | |
| CN106101552B (en) | A kind of panorama photographic method and mobile terminal | |
| JP7222139B1 (en) | Processing device, processing program and processing method | |
| CN114594751B (en) | Method, device and equipment for testing vehicle functions and computer readable storage medium | |
| CN108509127A (en) | Start the method, apparatus and computer equipment of record screen task | |
| CN109189313A (en) | Mobile device and its control method | |
| CN111290583A (en) | Three-dimensional blackboard writing generation method, electronic equipment and teaching system | |
| CN107483810B (en) | A kind of method of stabilization, mobile terminal and computer readable storage medium | |
| CN114594885A (en) | Application icon management method, device and equipment and computer readable storage medium | |
| JP2008005391A (en) | Inspection apparatus for equipment system | |
| CN111798358B (en) | Method and device for determining path time, electronic equipment and readable storage medium | |
| JP7318401B2 (en) | Cooperative processor, method and program | |
| US20240147004A1 (en) | Terminal device, information processing method, and non-transitory recording medium | |
| CN113433862B (en) | Simulation method and device of new energy automobile energy management system and storage medium | |
| CN112700249B (en) | Order information management method, device and system and storage medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220809 |
|
| A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20220809 |
|
| RD13 | Notification of appointment of power of sub attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7433 Effective date: 20221110 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221115 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221129 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20221111 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230110 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230202 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7222139 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |