近日，特斯联针对大言语模子(LLM)在多层云边网罗中的部署挑战，以及传统转机样式的不及，提倡了一种两阶段的多层多节点LLM转机算法。该商榷终端由特斯联首席科学家、香港科技大学(广州)信息要津物联网学域解释，杨旸博士偏激课题组发布，现在已被通讯范畴巨擘外洋会议INFOCOM (CCF-A) 收录。履行终端标明，该处置有接洽的蒙眬量较传统转机样式普及9.1%-26.3%，大要在多层网罗中罢了LLM的高效部署，并显赫普及系统性能。

原文提要：

大言语模子(LLM)因其在结合和反映提醒方面的高等才调而受到越来越多的蔼然。尽管在多层云边架构中获得了无为部署，但其性能受到网罗容量的严重截止，怎么转机高效的数据流以罢了性能最大化带来了弘大的挑战。

濒临日益增长的AI策动需求，以及LLM在资源受限环境(如物联网和角就逮罗)中的部署挑战，实时有用的任务拆分和转机变得尤为要害。这有助于充分开释LLM的后劲，并确保在多层网罗中高效的资源欺诈。但是，多层网罗的复杂性和LLM的策动密集性也给任务转机带来了弘大挑战。

针对该挑战，杨旸博士偏激课题组提倡了一种两阶段的多层多节点LLM转机算法，用于协同AI策动。该算法通过两阶段的转机框架，优化了多层云边网罗中的LLM推理。领先，层间LLM自动解耦和分割阶段遴荐整数线性计议来有用地分拨模子大小和策动需求。随后，层内LLM任务转机算法欺诈图神经网罗(GNN)评估资源欺诈率和网罗条款，从而详情每个层内的最好转机节点。履行终端标明，该处置有接洽的蒙眬量比传统转机样式普及了9.1%-26.3%。依托此转机算法，该商榷大要在多层网罗中罢了LLM的高效部署，并显赫普及系统性能。

    

用于优化东谈主工智能(AI)和大言语模子(LLM)部署的笼统多层网罗框架，该框架旨在通过漫衍式策动来舒允洽代AI应用的需求，尤其是由LLM启动的应用。

    

基于Transformer的大言语模子(LLM)在多层策动环境中的漫衍式部署架构，旨在通过并行处理优化角落策动中的效劳和性能。中枢念念想是将LLM模子分割并在不同网罗节点上并行处理，以镌汰蔓延和普及策动效劳。

跟着大言语模子(LLM)范围的束缚扩大，单节点策动已无法平静大部分LLM的需求，漫衍式策动成为势必趋势。该商榷提倡的多层级多节点转机框架为高效欺诈漫衍式资源提供了表面基础和本领相沿，并通过动态资源料理和智能转机战略，有用处置了资源欺诈率低、通讯支出大的问题，为更大范围、更复杂的AI模子部署和更低时延的趋奉式AI策动奠定了基础。

论文标题：Multi-Tier Multi-Node Scheduling of LLM for Collaborative AI Computing欧洲杯体育。