CN111937367A - 协作***、协作方法、计算机程序产品 - Google Patents

Abstract

本发明的协作***是具备能够使用一个或多个物理连接进行多个协作方式的连接的便携终端和车载装置的协作***，便携终端具备：应用，其将声音信号和图像信号的至少一个作为输出数据输出；协作控制部，其根据有效发挥作用的协作方式，确定用于发送输出数据的协作方式；库，其使用协作控制部确定的协作方式，将输出数据发送到车载装置，车载装置具备：协议控制部，其使用协作方式从库接收输出数据；输出部，其再现协议控制部接收到的输出数据。

Description

协作***、协作方法、计算机程序产品

技术领域

本发明涉及协作***、协作方法以及计算机程序产品。

背景技术

伴随着便携终端的功能提高，将便携终端与车载装置连接而使用的需求也提高了。在专利文献1中，公开了一种车载装置，其具备显示部，与便携终端装置进行无线通信，该车载装置的特征在于，具备：建立无线单元，其在检测到位于能够与该车载装置进行上述无线通信的规定的距离的便携终端装置的情况下，针对该检测到的便携终端装置建立上述无线通信；数据取得单元，其从通过上述建立无线单元建立了无线通信的便携终端装置，取得通过该便携终端装置提供的数据；输出控制单元，其将通过上述数据取得单元取得的数据变换为用于通过该车载装置输出的形式，输出到上述显示部和/或扬声器。

现有技术文献

专利文献

专利文献1：日本特开2010-130669号公报

发明内容

发明要解决的问题

在专利文献1记载的发明中，在能够利用多个协作方式的情况下，用户有可能混淆。

用于解决问题的手段

本发明的第一实施方式的协作***是具备能够使用一个或多个物理连接进行基于多个协作方式的连接的便携终端和车载装置的协作***，上述便携终端具备：应用，其将声音信号和图像信号的至少一个作为输出数据输出；协作控制部，其根据有效发挥作用的上述协作方式，确定用于发送上述输出数据的上述协作方式；库，其使用上述协作控制部确定的上述协作方式，将上述输出数据发送到上述车载装置，上述车载装置具备：协议控制部，其使用上述协作方式从上述库接收上述输出数据；输出部，其再现上述协议控制部接收到的上述输出数据。

本发明的第二实施方式的协作方法是能够使用一个或多个物理连接进行基于多个协作方式的连接的便携终端与车载装置的协作方法，上述便携终端将声音信号和图像信号的至少一个作为输出数据，根据有效发挥作用的上述协作方式，确定用于发送上述输出数据的上述协作方式，使用上述确定的上述协作方式，将上述输出数据发送到上述车载装置，上述车载装置依照上述协作方式从上述便携终端接收上述输出数据，再现接收到的上述输出数据。

本发明的第三实施方式的计算机程序产品记录了在能够使用一个或多个物理连接通过多个协作方式与车载装置连接的便携终端中执行的协作程序，该协作程序使上述便携终端进行以下处理：将声音信号和图像信号的至少一个作为输出数据，根据有效发挥作用的上述协作方式，确定用于发送上述输出数据的上述协作方式，依照确定的上述协作方式，将上述输出数据发送到上述车载装置。

发明效果

根据本发明，在能够利用多个协作方式的情况下，也不产生用户的混淆。

附图说明

图1是协作***S的硬件结构图。

图2是第一实施方式的便携终端1的功能结构图。

图3是车载装置2的功能结构图。

图4的(a)是表示第一实施方式的优先度信息111的一个例子的图，图4的(b)是表示第一实施方式的汇总信息112的一个例子的图。

图5是表示便携终端1的内部的数据的流程的图。

图6是表示汇总信息更新部116的动作的流程图。

图7是表示协作控制部117的动作的流程图。

图8的(a)是表示带UI画面261的图，图8的(b)是表示无UI画面262的图。

图9是第二实施方式的便携终端1的功能结构图。

图10的(a)是表示第二实施方式的优先度信息111A的一个例子的图，图10的(b)是表示第二实施方式的汇总信息112A的一个例子的图。

图11是表示汇总信息更新部116A的动作的流程图。

图12是表示协作控制部117A的动作的流程图。

图13是说明计算机程序产品的图。

具体实施方式

第一实施方式

以下，参照图1～图7，说明本发明的协作***S的第一实施方式。

图1是协作***S的硬件结构图。协作***S具备安装在车辆5上的便携终端1和车载装置2。但是，在此，作为使用实施方式之一，只不过表示出便携终端1和车载装置2安装在车辆5上的状态，也能够在车辆5的外部使用便携终端1和车载装置2。便携终端1和车载装置2使用后述的任意一个协作方式，进行协作动作。即，便携终端1将图像信号和声音信号发送到车载装置2，在车载装置2中再现图像信号和声音信号。

便携终端1具备作为中央运算装置的CPU11、作为只读的存储装置的ROM12、作为可读写的存储装置的RAM13、与车载装置2进行通信的便携通信模块15、便携输入装置14、便携显示装置16、闪存17、便携扬声器18。CPU11通过将存储在ROM12中的程序装载到RAM13中并执行，而实现后述的功能。CPU11实现的功能还包括利用了后述的任意一个协作方式的与车载装置2的协作动作。

便携通信模块15具备便携第一模块151、便携第二模块152、便携第三模块153。便携通信模块15判断能够利用哪个模块进行与车载装置2的通信，传输到后述的库。但是，既有能够通过全部的模块进行通信的情况，也有哪个模块都无法通信的情况。

便携第一模块151、便携第二模块152以及便携第三模块153分别是与不同的物理连接对应的通信模块。物理连接是指包含参照OSI的模型的第一层的通信标准。物理连接例如是指USB(注册商标)、以太网(Ethernet注册商标)、蓝牙(blue tooth注册商标)、ZigBee(注册商标)等。此外，在此便携通信模块15具备3个不同的模块，但便携通信模块15具备至少一个模块即可。另外，以下也将使用便携第一模块151的物理连接称为“第一连接”，将使用便携第二模块152的物理连接称为“第二连接”，将使用便携第三模块153的物理连接称为“第三连接”。

协作方式是指与协作动作有关的标准，例如是Apple Carplay(注册商标)、Android Auto(注册商标)、Smart Access(注册商标)、NaviCon(注册商标)、BluetoothAudio(注册商标)、Bluetooth TEL(注册商标)等。与一个以上的物理连接组合地使用各个协作方式。

便携输入装置14例如是多个按键，接受用户的输入操作并传输到CPU11。便携显示装置16例如是液晶显示器，根据CPU11的动作指令向用户提供影像信息。闪存17是非易失性的存储装置，存储一个或多个应用程序(以下称为“应用”)。便携扬声器18是扬声器，根据CPU11的动作指令向用户提供声音信息。

车载装置2具备作为中央运算装置的CPU21、作为只读的存储装置的ROM22、作为可读写的存储装置的RAM23、进行与便携终端1的通信的车载通信模块25、车载输入装置24、车载显示装置26、闪存27、便携扬声器28。CPU21通过将存储在ROM22中的程序装载到RAM23并执行，而实现后述的功能。CPU21实现的功能还包括利用了任意一个协作方式的与便携终端1的协作动作。

车载通信模块25具备车载第一模块251、车载第二模块252、车载第三模块253。车载第一模块251、车载第二模块252以及车载第三模块253分别是对应于与便携第一模块151、便携第二模块152、便携第三模块153分别相同的物理连接的通信模块。即，车载第一模块251能够与便携第一模块151通信，车载第二模块252能够与便携第二模块152通信，车载第三模块253能够与便携第三模块153通信。

但是，这些3个通信模块并不一定能够始终进行通信，有时需要通过有线连接至少进行用户的电缆连接，对于无线连接，有时也需要用户进行通信开始的操作。另外，为了进行某物理连接的通信，前提是在便携通信模块15和车载通信模块25两者中能够使用对应的模块。另外，便携通信模块15具备3个不同的模块，但便携通信模块15具备至少一个模块即可。

车载输入装置24例如是多个按键，接受用户的输入操作并传输到CPU21。车载显示装置26例如是液晶显示器，根据CPU21的动作指令向用户提供影像信息。闪存27是非易失性的存储装置，存储后述的信息。车载扬声器28是扬声器，根据CPU21的动作指令向用户提供声音信息。如上述那样，车载装置2接收便携终端1发送的图像信号和声音信号并再现，因此也可以将车载显示装置26和车载扬声器28称为再现便携终端1输出的数据的“再现部”。

(便携终端1的功能结构)

图2是便携终端1的功能结构图。便携终端1具备应用110、便携OS120、便携OS驱动程序130、便携第一模块151、便携第二模块152、便携第三模块153。应用110被存储在闪存17中，由CPU11装载到RAM13并执行。便携OS120被存储在ROM12中，通过CPU11装载到RAM13并执行。便携OS驱动程序130被存储在ROM12中，通过CPU11装载到RAM13并执行。

应用110具备优先度信息111、汇总信息112、应用核心113、协作方式A库114、协作方式B库115、汇总信息更新部116、协作控制部117。优先度信息111是预先确定了内容的信息。通过汇总信息更新部116更新汇总信息112。协作方式A和协作方式B例如是上述多个协作方式的任意一个。但是，协作方式A和协作方式B是不同的协作方式。

应用核心113进行应用110所固有的运算。例如，在应用110以导航为目的的情况下，应用核心113进行与路径搜索、路径引导有关的运算。应用核心113判断与车载装置2的协作的有无，根据协作的有无切换实现应用110的功能所需要的图像信号、声音信号、以及通知信号的输出目的地。以下，将应用核心113输出的图像信号、声音信号、以及通知信号称为“输出数据”。

通知信号是指用于引起使用声音和图像的至少一个的用户的注意的信号。通知信号包含声音和图像的信息，既可以由接收到通知信号的车载装置2再现通知信号所包含的声音和图像的信息，也可以将通知所使用的声音和图像的信息预先存储在车载装置2中。另外，也可以组合两者，使通知信号包含文本数据和通知的识别信号，车载装置2根据通知的识别信号确定应该再现的声音和图像，组合通知信号中包含的文本数据和图像，输出到车载显示装置26。

应用核心113在协作无效的情况下，将输出数据直接输出到便携OS120，并使用便携终端1的便携显示装置16和便携扬声器18输出。应用核心113在协作有效的情况下，将确定正在协作的车载装置2的信息，例如车载装置2的IP地址与输出数据一起输出到协作控制部117。

协作方式A库114根据协作控制部117的动作指令动作，依照协作方式A的步骤对应用核心113输出的信息进行加工，输出到便携OS120。其中，协作方式A库114将加工后的信息与该信息的输出目的地、以及发送所使用的模块一起输出到便携OS120。协作方式B库115根据协作控制部117的动作指令动作，依照协作方式B的步骤对应用核心113输出的信息进行加工，输出到便携OS120。其中，协作方式B库115将加工后的信息与该信息的输出目的地、以及发送所使用的模块一起输出到便携OS120。

汇总信息更新部116参照优先度信息111更新汇总信息112。如果变更了有效的协作方式，或者如果变更了有效的物理连接，则汇总信息更新部116更新汇总信息112。协作控制部117控制应用110与车载装置2的协作动作。

便携OS120是便携终端1的操作***。便携OS120使用指定的模块，将从应用110输出的信息发送到车载装置2。但是，便携OS120无法直接控制各模块，因此使便携OS驱动程序130输出发送动作指令。

(车载装置2的功能结构图)

图3是车载装置2的功能结构图。车载装置2具备协作方式A协议控制部211、协作方式B协议控制部212、车载OS220、车载OS驱动程序230、车载第一模块251、车载第二模块252、车载第三模块253。

车载OS220是车载装置2的操作***。车载OS220经由车载OS驱动程序230将各模块接收到的信息输出到适当的协议控制部。车载OS220例如参照车载模块接收到的信息的报头部分判断协作方式，选择协议控制部。车载OS220在判断出接收到的数据是协作方式A的数据的情况下，输出到协作方式A协议控制部211，在判断出接收到的数据是协作方式B的数据的情况下，输出到协作方式B协议控制部212。

协作方式A协议控制部211进行与协作方式A对应的通信。即，协作方式A协议控制部211的动作对应于协作方式A库114的动作。协作方式A库114依照协作方式A的规则解释从车载OS220接收的信息，输出到架构(framework)240。换言之，协作方式A协议控制部211从协作方式A库114接收输出数据。协作方式B协议控制部212进行与协作方式B对应的通信。即，协作方式B协议控制部212的动作对应于协作方式B库115的动作。协作方式B协议控制部212依照协作方式B的规则解释从车载OS220接收的信息，输出到架构240。换言之，协作方式B协议控制部212从协作方式B库115接收输出数据。

架构240根据协作方式A协议控制部211、协作方式B协议控制部212、以及车载OS220的动作指令，控制车载显示装置26、车载扬声器28。架构240不考虑动作指令的重复，因此如果假设从协作方式A协议控制部211和协作方式B协议控制部212两者接受了同一声音输出指令，则进行2次相同的声音输出。

(优先度信息111)

图4的(a)是表示优先度信息111的一个例子的图。预先制作优先度信息111，在本实施方式中，不产生优先度信息111的改写。例如用表形式表示优先度信息111，在各行中存储协作方式与物理连接的组合、将该组合用于图像、声音、通知各自的发送的优先度。

优先度信息111的行数是具有优先度信息111的应用110能够利用的协作方式与物理连接的组合的总数。即，在图4的(a)所示的例子中，表示协作方式A可以是第一连接与第二连接的组合，协作方式B可以是第一连接与第三连接的组合。此外，无法实现协作方式A与第三连接的组合、协作方式B与第二连接的组合，因此在优先度信息111中没有记载。

用0以上的整数、或“F”表示图像、声音、以及通知的优先度。整数的数值越小越优先，“F”表示如果能够利用则始终用于发送。原则上分别使用优先度最高的任意一个组合发送图像、声音、以及通知，但在设定了“F”的情况下，也有时使用多个组合进行发送。

(汇总信息112)

图4的(b)是表示汇总信息112的一个例子的图。汇总信息更新部116参照优先度信息111制作汇总信息112。汇总信息更新部116在每次便携终端1能够利用的物理连接被变更时，制作汇总信息112。如图4的(b)所示，汇总信息112是针对图像、声音、以及通知分别将用于发送的协作方式与物理连接的组合作为“分配目标”而表示的图。图4的(b)是在图4的(a)中能够利用全部协作方式和全部物理连接的情况下制作的汇总信息112。即，使用在图4的(a)中优先度是“F”的协作方式A与第一连接的组合、以及协作方式B与第一连接的组合发送图像，使用优先度是“0”的协作方式B与第三连接的组合发送声音，使用优先度是“0”的协作方式A与第一连接的组合发送通知。

(数据的流程)

图5是表示便携终端1的内部的数据的流程的图。详细地说，图5是表示应用核心113输出的输出数据到达便携通信模块15之前的流程的图。如果产生了向协作动作的车载装置2输出的图像、声音、或通知，则应用核心113向协作控制部117输出种类、输出数据、发送目的地的信息。此处所述的“种类”是指表示是图像信号、声音信号、以及通知信号的哪个的信息，也可以与输出数据一体地构成。“发送目的地”是指在通信中识别车载装置2的信息，例如是车载装置2的IP地址。

协作控制部117确定接收到的数据的输出所使用的协作方式和物理连接，向与所确定的协作方式对应的库发送输出数据、发送目的地、以及表示物理连接的信息。例如，在接收到的输出数据的发送所使用的协作方式是A的情况下，协作控制部117向协作方式A库114输出上述信息。

协作方式A库114对接收到的数据进行加工使其适合于协作方式A。然后，协作方式A库114将加工后的输出数据(以下称为“加工数据”)与接收到的发送目的地以及表示物理连接的信息一起输出到便携OS120。便携OS120利用便携OS驱动程序130，向根据接收到的表示物理连接的信息确定的模块输出加工数据和发送目的地。例如，在与根据接收到的表示物理连接的信息确定的物理连接对应的通信模块是便携第一模块151的情况下，便携OS驱动程序130向便携第一模块151输出加工数据和发送目的地。

如果总结以上的数据的流程，则应用核心113输出的信息中的发送目的地被直接传输到便携通信模块15。应用核心113输出的输出数据通过协作方式A库114或协作方式B库115进行加工，传输到便携通信模块15。

(汇总信息更新部116的流程)

图6是表示汇总信息更新部116的动作的流程图。以下说明的各步骤的执行主体是CPU11。汇总信息更新部116在每个规定的时间、例如每1秒执行以下的处理。

汇总信息更新部116首先在S302中，判断有效的协作方式和有效的物理连接的至少一个相对于最近一次执行S302时是否变化了。汇总信息更新部116在判断为有变化的情况下前进到S303，在判断为没有变化的情况下，结束图6所示的处理。通过向协作控制部117查询而得到有效的协作方式的信息。通过向便携通信模块15查询而得到有效的物理连接的信息。

在S303中，汇总信息更新部116确认当前能够利用的、换言之当前有效的协作方式与物理连接的组合。即，汇总信息更新部116确定记载在优先度信息111的左端的多个组合中的当前有效的组合。在接着的S304中，汇总信息更新部116参照优先度信息111，从在S303中确认了的当前有效的协作方式与物理连接的组合中，确定用于图像信号的发送的组合，更新汇总信息112的图像的栏。用于图像信号的发送的组合是当前有效的组合中的优先度最高的、即数值最低的协作方式与物理连接的组合。但是，在存在“F”的情况下，用于图像的发送的组合是优先度是“F”的全部组合。

在接着的S305中，汇总信息更新部116参照优先度信息111，从在S303中确认了的当前有效的协作方式与物理连接的组合中，确定声音信号的发送所使用的组合，更新汇总信息112的声音的栏。在接着的S306中，汇总信息更新部116参照优先度信息111，从在S303中确认了的当前有效的协作方式与物理连接的组合中，确定用于通知信号的发送的组合，更新汇总信息112的通知的栏。S305和S306的处理只是参照优先度信息111的列不同，处理内容相同。以上是汇总信息更新部116的动作。

(协作控制部117的流程)

图7是表示协作控制部117的动作的流程图。以下说明的各步骤的执行主体是CPU11。协作控制部117在每次从应用核心113输出数据时，执行图7所示的处理。

协作控制部117首先在S311中，确定从应用核心113输出的数据的分类。即，确定应用核心113输出的数据是图像、声音、以及通知的哪个。分类的确定既可以参照数据的报头部分进行，也可以由应用核心113另外输出表示数据的种类的信息，由协作控制部117参照该信息进行判断。

在接着的S312中，协作控制部117参照汇总信息112，确定在S312中确定的分类的分配目标。例如在图4的(b)所示的例子中，在分类是“声音”的情况下，将分配目标确定为“协作方式A-第一连接”。在接着的S313中，协作控制部117向在S312中确定的协作方式的库输出从应用核心113输出的数据。但是，这时，协作控制部117还一起输出表示物理连接的信息。以上是协作控制部117的动作。

根据上述第一实施方式，能够得到以下的作用效果。

(1)协作***S具备能够使用多个物理连接进行基于多个协作方式的连接的便携终端1、车载装置2。便携终端1具备：应用110，其将声音信号和图像信号的至少一个作为输出数据输出；协作控制部117，其根据有效发挥作用的协作方式，确定发送输出数据所使用的协作方式；协作方式库114和协作方式库115，其使用协作控制部117确定的协作方式，将输出数据发送到车载装置2。车载装置2具备：协作方式A协议控制部211，其使用协作方式A从协作方式A库114接收输出数据；协作方式B协议控制部212，其从协作方式B库115接收输出数据；车载显示装置26和车载扬声器28，其再现协作方式A协议控制部211和协作方式B协议控制部212接收到的输出数据。因此，在能够利用多个协作方式的情况下，使用协作控制部117确定的协作方式输出输出数据，因此通过适当地设定优先度信息111，不产生用户的混淆。

例如，在能够利用多个协作方式的情况下，在不进行特殊的控制的情况下，可以考虑使用能够利用的全部协作方式发送数据。在该情况下，车载装置2接收与能够利用的协作方式相同数量的数据，因此有可能由于处理接收到的多个数据而使用户产生混淆。

此外，在向车载装置2追加功能，而多个协作方式接收到同一数据的情况下，也可以考虑通过只对接收到的数据中的一个进行处理，而避免用户的混淆，但考虑以下的3个问题。第一，在便携终端1有意地发送多次同一数据的情况下，忽略重复发送的数据是优选的。第二，应该如何严格地判断数据的一致性和时刻的一致性不明确，由于该不明确性，有可能使用户更加混淆。第三，车载装置2的功能追加、即升级并不一定容易。另一方面，便携终端1的内置的应用的更新容易，追加在本实施方式中说明的那样的功能也容易，因此理想的是在发送数据的便携终端1一侧下功夫。

(2)便携终端1和车载装置2能够使用多个物理连接进行连接，协作控制部117确定发送输出数据所使用的物理连接。因此，在能够利用多个物理连接的情况下，使用协作控制部117确定的物理连接发送输出数据，因此通过适当地设定优先度信息111，不产生用户的混淆。另外，即使是同一协作方式，由于物理连接的特性的不同，传输速度、鲁棒性也有差异，因此通过考虑到物理连接的特性地适当地设定优先度信息111，能够提高便利性。

(3)便携终端1具备：存储汇总信息112和优先度信息111的闪存17，该汇总信息112记载有分别用于发送输出数据中包含的声音信号和图像信号的协作方式，优先度信息111针对每个协作方式确定分别用于发送输出数据中包含的声音信号和图像信号的优先度。另外，便携终端1具备：汇总信息更新部116，其判断有效发挥作用的协作方式，参照优先度信息111确定分别用于发送声音信号和图像信号的协作方式，更新汇总信息112。协作控制部117参照汇总信息112确定发送输出数据的协作方式。

(4)输出数据包含声音信号和图像信号。在优先度信息111中，针对声音信号和图像信号分别确定了发送所使用的优先度。在汇总信息112中，针对声音信号和图像信号分别记载有发送所使用的协作方式。汇总信息更新部116针对声音信号和图像信号分别确定发送所使用的协作方式，更新汇总信息。协作控制部117判断输出数据是声音信号和图像信号的哪个，以及根据汇总信息112确定发送输出数据所使用的协作方式。因此，能够针对声音信号和图像信号分别独立地确定发送所使用的协作方式。由此，还能够只使用一个协作方式发送声音信号，而使用多个协作方式发送图像信号。另外，根据协作方式的特性，也有时在传输声音信号和图像信号的任意一个上优良，因此对每个信号选择协作方式是有用的。

(5)在输出数据中，包含引起使用声音信号和图像信号的至少一个的用户的注意的通知。在汇总信息112中，记载发送通知的协作方式。在优先度信息111中，对每个协作方式确定发送通知所使用的优先度。汇总信息更新部116判断有效发挥作用的协作方式，参照优先度信息111确定发送通知的协作方式，更新汇总信息112。在多次进行同一通知的情况下，用户识别为存在多个通知对象，因此在实际上只有一个通知的情况下，使用户混淆的可能性高。因此，通过适当地设定优先度信息111，能够避免用户的混淆。

(变形例1)

便携终端1和车载装置2也可以只通过单一的物理连接进行连接。例如，也可以是便携通信模块15只由便携第一模块151构成，车载通信模块25只由车载第一模块251构成。但是，在该情况下，协作方式A和协作方式B都与便携第一模块151和车载第一模块251所对应的物理连接对应。

(变形例2)

各个协作方式也可以只与单一的物理连接对应。即，在协作方式只与某一个物理连接对应的情况下，便携终端1和车载装置2分别与公共的多个协作方式对应即可。

(变形例3)

对于优先度信息111和汇总信息112，在第一实施方式中说明为表形式，但存储的形式并不限于表形式，也可以以各种形式存储在闪存17中。例如，也可以按照每个单元中写下存储在汇总信息112中的信息。

(变形例4)

将优先度信息111和汇总信息112说明为内置于应用110中的信息，但也可以与应用110独立地，将优先度信息111和汇总信息112存储在闪存17中。进而，在该情况下，也可以将应用110存储在ROM12中。

(变形例5)

也可以在优先度信息111中，将图像的行全部设定为“F”。这是因为：即使使用多个协作方式和多个物理连接从便携终端1向车载装置2发送同一图像信息，用户混淆的可能性也小。

(变形例6)

在上述第一实施方式中，在优先度信息111中，分别个别地对图像、声音、以及通知设定优先度。但是，也可以为所有图像、声音、以及通知设置通用优先度。在该情况下，不需要按照功能分开记载汇总信息112，栏可以是一个。另外，根据本变形例，使用共通的某一个协作方式与一个连接方式的组合，发送图像、声音以及通知。

第二实施方式

参照图8～图12说明协作***S的第二实施方式。在以下的说明中，对与第一实施方式相同的构成要素赋予相同的附图标记，主要说明不同点。对于不具体说明的点，与第一实施方式相同。在本实施方式中，主要是以下的点与第一实施方式不同：如果在协作动作时用户向车载装置进行了操作输入，则车载装置将输入传输到便携终端。协作***S的硬件结构与第一实施方式同样。

(第二实施方式的概要)

在本实施方式中，在便携终端1与车载装置2的协作动作时，能够在车载装置2的车载显示装置26上进行具有用户能够操作的用户界面(以下记载为“UI”)的显示。如果用户使用车载输入装置24操作UI，则将该操作信息从车载装置2传输到便携终端1。这时，车载装置2使用输出了所显示的信息的协议控制部和物理连接，向便携终端1传输所输入的信息。将在后面详细说明。

(画面显示例)

图8是表示显示在车载显示装置26上的画面的一个例子的图，图8的(a)是表示带UI画面261的图，图8的(b)是表示无UI画面262的图。图8的(a)和图8的(b)都是再现音乐的应用的画面。便携终端1如后述那样，与协作方式、物理连接对应地改变输出的信息，由此使车载装置2显示带UI画面261、无US的画面262。但是，也可以存在只输出用于显示无UI画面262的图像信号的应用。

图8的(a)所示的带UI画面261在上段显示正在再现的曲名，在中段显示乐曲的整体的长度和正在再现的位置，在下段显示能够操作乐曲的再现、停止等的UI。即，带UI画面261由附图标记26R所示的显示部、附图标记26P所示的UI部构成。图8的(b)所示的无UI画面262在上段显示正在再现的曲名，在下段显示乐曲的整体的长度和正在再现的位置。即，无UI画面262只由附图标记26R所述的显示部构成，不包含UI部。

此外，在车载装置2显示带UI画面261时，从便携终端1不只发送正在显示的图像信息，还同时发送能够操作的区域以及表示该区域的标识符。以下，将能够操作的区域和表示该区域的标识符称为“UI信息”。例如，在图8的(a)中，显示出曲返回按键、再现按键、暂时停止按键、停止按键、以及曲快进按键这5个按键，而针对各个按键，从便携终端1发送区域和标识符的信息。将区域例如表示为将图像的左上作为原点即“0，0”的情况下的各按键的左上的坐标与右下的坐标的组合。标识符例如是btn1、btn2等字符串。

(便携终端1的功能结构)

图9是第二实施方式的便携终端1的功能结构图。与第一实施方式的不同点在于：代替优先度信息111而具有优先度信息111A，代替汇总信息112而具有汇总信息112A，代替汇总信息更新部116而具备汇总信息更新部116A，代替应用核心113而具备应用核心113A，代替协作控制部117而具备协作控制部117A。

图10的(a)是表示第二实施方式的优先度信息111A的一个例子的图，图10的(b)是表示第二实施方式的汇总信息112A的一个例子的图。优先度信息111A与第一实施方式的优先度信息111相比，追加了“带UI图像”的列。该列表示发送用于显示图8的(a)所示那样的带UI画面261的信息所使用的优先度。另外，在本实施方式中，“图像”的列表示发送用于显示图8的(b)所示那样的无UI画面262的图像所使用的优先度。在本实施方式中，也预先确定优先度信息111A的信息而不更新。

汇总信息112A与第一实施方式的汇总信息112相比，追加了“带UI图像”的行。该行表示发送用于显示图8的(a)所示那样的带UI画面261的信息所使用的协作方式与物理连接的组合。另外，在本实施方式中，“图像”的行表示发送用于显示图8的(b)所示那样的无UI画面262的图像所使用的协作方式与物理连接的组合。通过汇总信息更新部116A更新汇总信息112A。返回到图9继续进行说明。

汇总信息更新部116A除了进行第一实施方式的动作以外，还更新汇总信息112A的“带UI图像”的行。应用核心113A在输出图像的情况下，不只输出构成无UI画面262的图像信息，还输出用于制作带UI画面261的信息。协作控制部117A对应用核心113A输出的信息进行分类，参照汇总信息112A向协作方式A库114或协作方式B库115输出。

(汇总信息更新部116A的动作)

图11是表示汇总信息更新部116A的动作的流程图。与第一实施方式的流程相比，紧接着S304追加了S304A。在S304A中，汇总信息更新部116A参照优先度信息111，从在S303中确认了的当前有效的协作方式与物理连接的组合中，确定发送带UI图像所使用的组合，更新汇总信息112A的带UI图像的栏。汇总信息更新部116A接着前进到S305，以下进行与第一实施方式同样的处理。

(协作控制部117A的动作)

图12是表示协作控制部117A的动作的流程图。协作控制部117首先在S311A中，确定从应用核心113输出的输出数据的分类。即，确定输出数据是图像、声音以及通知的哪个。但是，在应用核心113输出图像的情况下，有只输出无UI图像的情况和同时输出无UI图像、带UI图像以及UI信息的情况。在本实施方式中，协作控制部117A在其任意一个情况下，都将分类判断为“图像”。

在接着的S315中，协作控制部117A判断在S311A中确定的分类是否是图像。在判断为分类是图像的情况下，前进到S316，在判断为不是图像的情况下，前进到S312。S312以后的处理与第一实施方式同样，因此省略说明。在S316中，协作控制部117A判断应用核心113A是否还输出了带UI图像。在判断为还输出了带UI图像的情况下，前进到S317，在判断为只输出了无UI图像的情况下，前进到S318。

在S317中，协作控制部117A将在汇总信息112A的“图像”的行中记载的组合确定为无UI图像的输出目的地，将在“带UI图像”的行中记载的组合确定为带UI图像和UI信息的输出目的地，前进到S313。但是，在汇总信息112A的“图像”和“带UI图像”中记载了同一组合的情况下，优先“带UI图像”。例如如图10的(b)所示的例子那样，在“图像”和“带UI图像”两者中记载了“协作方式A-第一连接”的情况下，如下这样进行判断。即，协作控制部117A针对“协作方式-第一连接”的组合，输出带UI图像和UI信息，而不输出无UI图像。

在S318中，协作控制部117A将在汇总信息112A的“图像”和“带UI图像”的行中记载的组合确定为无UI图像的输出目的地、即发送所使用的组合，前进到S313。但是，在汇总信息112A的“图像”和“带UI图像”中记载了同一组合的情况下，协作控制部117A也将该组合用于一个“无UI图像”的发送。S313的处理如在第一实施方式中说明的那样。

(车载装置2的动作)

车载装置2的动作除了以下的点以外，与第一实施方式同样。在第二实施方式中，确定从便携终端1接收到信息的模块的信息经过车载OS驱动程序230、车载OS220、以及协议控制部，传输到架构240。其中，传输该信息的协议控制部是处理从便携终端1接收到的信息的协议控制部。另外，架构240临时存储所传输的用于确定模块的信息、以及哪个协议控制部传输了该信息，并在以下所述的处理中利用。

架构240如果从任意一个协议控制部接收到带UI图像和UI图像，则在车载显示装置26上显示具备UI的图像。然后，架构240如果从用户接受了输入，则使用与接收时同样的协作方式与物理连接的组合，向便携终端1传输该输入。例如，如果在便携终端1再现使用协作方式A与第一连接的组合发送的带UI图像时，接受了向车载输入装置24的输入，则使用协作方式A协议控制部211和车载第一模块251，将该输入传输到便携终端1。

根据上述第二实施方式，能够得到以下的作用效果。

(6)在应用110A输出的图像信号中，包含根据UI信息输出的带UI图像的信号、以及无UI图像的信号。协作控制部117A根据有效发挥作用的协作方式，确定分别输出带UI图像的信号和无UI图像的信号的协作方式。车载装置2具备车载输入装置24和架构240。因此，便携终端1能够以适当的协作方式分别发送有UI图像和无UI图像。另外，车载装置2能够使用发送有UI图像所使用的物理连接与协作方式的组合，向便携终端1传输用户的输入。

在上述的各实施方式和变形例中，便携终端1也可以具备未图示的输入输出接口，在必要时，经由输入输出接口和便携终端1能够利用的介质，从其他装置读入程序。在此，介质例如是指可装卸到输入输出接口的存储介质、或通信介质、即有线、无线、光等网络、或在该网络中传输的载波、数字信号。另外，也可以通过硬件电路、FPGA实现由程序实现的功能的一部分或全部。

图13是表示通过记录介质、数据信号向便携终端1提供上述的动作程序、表、文件等信息的情况的图。便携终端1具备能够执行各种程序的处理器。便携终端1经由USB存储器904，接受应用110等用于实现上述各处理的动作程序等信息的提供。另外，便携终端1具有与通信线路901的连接功能。计算机902是提供上述动作程序等信息的服务器计算机，在硬盘903等记录介质中存储信息。通信线路901是因特网、个人电脑通信等通信线路、或专用通信线路等。计算机902使用硬盘903读出动作程序等信息，经由通信线路901发送到便携终端1。即，将程序作为数据信号，经由载波经由通信线路901发送。这样，能够作为记录介质、数据信号(载波)等各种形式的计算机可读的计算机程序产品，来提供用于使便携终端1动作的程序。

也可以分别组合上述的各实施方式和变形例。以上说明了各种实施方式和变形例，但本发明并不限于这些内容。在本发明的技术思想的范围内能够考虑到的其他实施方式也包含在本发明的范围内。

将以下的优先权基础申请的公开内容作为引用文组合于此。

日本特许申请2018-73191(2018年4月5日申请)。

附图标记说明

1：便携终端；2：车载装置；15：便携通信模块；16：便携显示装置；17：闪存；24：车载输入装置；25：车载通信模块；26：车载显示装置；110：应用；111：优先度信息；112：汇总信息；113：应用核心；114：协作方式A库；115：协作方式B库；116：汇总信息更新部；117：协作控制部；151：便携第一模块；152：便携第二模块；153：便携第三模块；211：协作方式A协议控制部；212：协作方式B协议控制部；240：架构。

Claims (15)

1.一种协作***，其具备能够使用一个或多个物理连接进行基于多个协作方式的连接的便携终端和车载装置，该协作***的特征在于，

上述便携终端具备：

应用，其将声音信号和图像信号的至少一个作为输出数据输出；

协作控制部，其根据有效发挥作用的上述协作方式，确定用于发送上述输出数据的上述协作方式；以及

库，其使用上述协作控制部确定的上述协作方式，将上述输出数据发送到上述车载装置，

上述车载装置具备：

协议控制部，其使用上述协作方式从上述库接收上述输出数据；以及

输出部，其再现上述协议控制部接收到的上述输出数据。

2.根据权利要求1所述的协作***，其特征在于，

上述便携终端和上述车载装置能够使用多个物理连接进行连接，

上述协作控制部确定用于发送上述输出数据的物理连接。

3.根据权利要求1或2所述的协作***，其特征在于，

上述便携终端还具备：

存储部，其存储汇总信息和优先度信息，该汇总信息记载有分别用于发送上述输出数据中包含的上述声音信号和上述图像信号的上述协作方式，该优先度信息针对每个上述协作方式确定分别用于发送上述输出数据中包含的上述声音信号和上述图像信号的优先度；以及

汇总信息更新部，其判断有效发挥作用的上述协作方式，参照上述优先度信息确定分别用于发送上述声音信号和上述图像信号的上述协作方式，更新上述汇总信息，

上述协作控制部参照上述汇总信息确定用于发送上述输出数据的上述协作方式。

4.根据权利要求3所述的协作***，其特征在于，

上述输出数据包含上述声音信号和上述图像信号，

在上述优先度信息中，针对上述声音信号和上述图像信号确定分别用于发送的优先度，

在上述汇总信息中，针对上述声音信号和上述图像信号分别记载用于发送的上述协作方式，

上述汇总信息更新部针对上述声音信号和上述图像信号确定分别用于发送的上述协作方式，更新上述汇总信息，

上述协作控制部判断上述输出数据是上述声音信号和上述图像信号的哪个，以及根据上述汇总信息确定用于发送上述输出数据的上述协作方式。

5.根据权利要求3所述的协作***，其特征在于，

在上述输出数据中包含引起使用声音和图像的至少一个的用户的注意的通知，

在上述汇总信息中还记载用于发送上述通知的上述协作方式，

在上述优先度信息中还针对每个上述协作方式确定用于发送上述通知的优先度，

上述汇总信息更新部还判断有效发挥作用的上述协作方式，参照上述优先度信息确定用于发送上述通知的上述协作方式，更新上述汇总信息。

6.根据权利要求1所述的协作***，其特征在于，

在上述应用输出的上述图像信号中包含用于显示能够由用户进行操作输入的规定了用户界面的图像的带UI图像信号以及用于显示不能由用户进行操作输入的图像的无UI图像信号，

上述协作控制部根据有效发挥作用的上述协作方式，确定分别用于发送上述带UI图像信号和上述无UI图像信号的上述协作方式，

上述车载装置还具备：

输入部，其接受用户的操作输入；

架构，其如果在上述车载装置的上述输出部再现上述带UI图像信号时接受了向上述输入部的输入，则使用接收到的用于上述带UI图像信号的上述协作方式，向上述车载装置传输上述输入。

7.一种协作方法，其是能够使用一个或多个物理连接进行基于多个协作方式的连接的便携终端与车载装置的协作方法，其特征在于，

上述便携终端将声音信号和图像信号的至少一个作为输出数据，根据有效发挥作用的上述协作方式，确定用于发送上述输出数据的上述协作方式，使用上述确定的上述协作方式，将上述输出数据发送到上述车载装置，

上述车载装置依照上述协作方式从上述便携终端接收上述输出数据，再现接收到的上述输出数据。

8.根据权利要求7所述的协作方法，其特征在于，

上述便携终端和上述车载装置能够使用多个物理连接进行连接，

上述便携终端确定用于发送上述输出数据的物理连接。

9.根据权利要求7或8所述的协作方法，其特征在于，

上述便携终端具备：存储部，其存储汇总信息和优先度信息，该汇总信息记载有分别用于发送上述输出数据中包含的上述声音信号和上述图像信号的上述协作方式，该优先度信息针对每个上述协作方式确定分别用于发送上述输出数据中包含的上述声音信号和上述图像信号的优先度，

上述便携终端判断有效发挥作用的上述协作方式，参照上述优先度信息确定分别用于发送上述声音信号和上述图像信号的上述协作方式，更新上述汇总信息，

上述便携终端参照上述汇总信息确定用于发送上述输出数据的上述协作方式。

10.根据权利要求9所述的协作方法，其特征在于，

上述输出数据包含上述声音信号和上述图像信号，

在上述优先度信息中，确定分别用于发送上述声音信号和上述图像信号的优先度，

在上述汇总信息中，记载分别用于发送上述声音信号和上述图像信号的上述协作方式，

上述便携终端确定分别用于发送上述声音信号和上述图像信号的上述协作方式，更新上述汇总信息，

上述便携终端判断上述输出数据是上述声音信号和上述图像信号的哪个，以及根据上述汇总信息确定用于发送上述输出数据的上述协作方式。

11.根据权利要求9所述的协作方法，其特征在于，

在上述输出数据中包含引起使用声音和图像的至少一个的用户的注意的通知，

在上述汇总信息中还记载用于发送上述通知的上述协作方式，

在上述优先度信息中还针对每个上述协作方式确定用于发送上述通知的优先度，

上述便携终端判断有效发挥作用的上述协作方式，参照上述优先度信息确定用于发送上述通知的上述协作方式，更新上述汇总信息。

12.根据权利要求7所述的协作方法，其特征在于，

在上述图像信号中，包含能够由用户进行操作输入的规定了用户界面的带UI图像信号以及不能由用户进行操作输入的无UI图像信号，

上述便携终端根据有效发挥作用的上述协作方式，确定分别用于发送上述带UI图像信号和上述无UI图像信号的上述协作方式，

上述车载装置还具备：输入部，其接受用户的操作输入，

上述车载装置如果在再现上述带UI图像信号时接受了向上述输入部的输入，则使用用于上述带UI图像信号的上述协作方式，向上述车载装置传输上述输入。

13.一种计算机程序产品，其记录了在能够使用一个或多个物理连接通过多个协作方式与车载装置连接的便携终端中执行的协作程序，其特征在于，使上述便携终端进行以下处理：

将声音信号和图像信号的至少一个作为输出数据，

根据有效发挥作用的上述协作方式，确定用于发送上述输出数据的上述协作方式，

依照确定的上述协作方式，将上述输出数据发送到上述车载装置。

14.根据权利要求13所述的计算机程序产品，其特征在于，

上述便携终端和上述车载装置能够使用多个物理连接进行连接，

上述协作程序还使上述便携终端确定用于发送上述输出数据的物理连接。

15.根据权利要求13或14所述的计算机程序产品，其特征在于，

在上述图像信号中，包含用于显示能够由用户进行操作输入的规定了用户界面的图像的带UI图像信号以及用于显示不能由用户进行操作输入的图像的无UI图像信号，

上述协作程序还使上述便携终端根据有效发挥作用的上述协作方式，确定分别用于发送上述带UI图像信号和上述无UI图像信号的上述协作方式。

Images