邓永华听完微微点头:“一些行业里确实会存在这种问题,我是搞网安方向的,
一般这种情况我们关注的都是如何保护已上传的数据或者是在数据传输过程中进行更加复杂的加密算法,
但是数据在传输过程中,无论加密多强,理论上都存在被截获和破解的风险,而且数据包越多,传输时间越长,风险暴露窗口越大,
现在大模型的数据量都是巨大的,风险也会更大,所以一些保密性强的数据,现在还是会采用光盘,硬盘这种物理的方式。
不过你这种方法也算是一种新的思路,继续吧。”
“老师说的没错,AI模型的边缘部署如果能够实现,可以很大程度上规避这类数据安全的问题,让数据可以直接在本地进行使用,不用转移。”
周昀将PPT翻到下一页:“其实现在已经有了不少相关的研究,但是想要真正实现让大模型在手机这种终端运行还有很长一段路要走。”
哪怕是明年年初deepseek公开论文中的蒸馏方法,也达不到周昀想要的结果。
其实凭借他现在变态的记忆力完全可以复现出大量还未出现的顶刊论文,包括很多开源的代码。
但是他不会这么做,计算机能够如此快速的发展,离不开两个字——“开源”!
如果他真的做了“文抄公”,就相当于是剽窃了别人的研究成果,哪怕是前世的周昀都没有干过这种事情,更别说现在了。
而且,凭他现在的智商,想发几篇顶刊,很难吗?
收回有些发散的思维,周昀继续道:“现有的边缘 AI部署我总结为以下三类:
1.模型压缩,这是最直接也最常用的方法之一,可以理解为将一块充满水分的海绵强行挤压变小,主要的方法一般有量化、剪枝、知识蒸馏,不过这种方法也有一个缺陷,那就是模型的性能会变差。
2.边缘资源管理与调度,简单来说就是智能地分配和优化边缘计算设备,如服务器、传感器、网关的算力,以高效、低延迟地执行 AI任务,但是这种方法会带来数据安全和隐私问题。
3.适应性 AI系统,这是我自己定义一种方法,即设计一种框架,让大模型能够自行优化,缩小,达到能够部署在边缘设备的方法,通俗来讲就是用AI调教AI。
这也是我提出的AgileEdge的主要思想。
当然,我所说的方法都是软件层面的,不管怎么设计,其终究都是受限于物理设备,
但是在我看来,如今的算法还远远没有触及到现有物理设备的上限。”
听到这里,一同参加面试的四位学生已经有点麻了。
满脸的问号已经不足以形容他们的懵逼。
他们脑子里不由得同时发出灵魂三问:“我是谁?我在哪?我要干什么?”
这还是双非吗?
不光是他们,其实就连邱彦和沈瑞都有些唏嘘,虽然暂时周昀还没有讲到具体的算法,
但是光凭前面这些,就能看出来他在AI方面的功底不差,论文估计也没少看,不然就邓老师问的第一个问题,他就答不出来。
两人心里不约而同地冒出一个想法:“新来的学弟,有点狠啊!”
要说现在最淡定的就是邓永华了,毕竟像周昀这种自带方向进组的学生他也见过不少。
“AI调教AI?听上去确实挺有意思的,但是想要实现起来恐怕不是那么容易的吧?”
“没错,复杂的 AI驱动的决策过程本就是一个“黑盒”,这也是其中最大的难点之一,所以我设计了这套AgileEdge框架,尽可能地去避免这些问题。”
手指轻敲键盘,将PPT翻到下一页,也是这次汇报的核心内容,AgileEdge的框架图,虽然代码一行没有,但是只要逻辑上能够说服老师就够了。
“这套框架主要都是基于Attention,也就是Transformer,虽然其存在计算量大的问题,但是毫无疑问,这是现阶段所有深度学习的核心基础。
AgileEdge的作用概括来说就是两个字——打包!PPT上所展示的是AgileEdge最为核心的三个组件,分别是:
感知与状态编码层,它的作用是收集并预处理来自边缘环境的原始、多模态数据,
AI协同优化决策引擎,采用分层强化学习架构,实现大模型的缩小,
执行与反馈层,将缩小的大模型打包到相对应的边缘环境中。
最终达到AI边缘部署的目的,理论上来说,无论什么样的大模型,经过这一流程都能被塞到边缘设备中。”
邓永华看着大屏幕上的PPT思考了一会儿,缓缓开口:“我有一个问题,
既然AgileEdge框架具有高度的自适应性,它有没有可能会在运行时为了满足短期性能目标而频繁地对边缘设备上的 AI模型进行极端压缩,或者进行激进的在线剪枝。
这种持续且可能激进的“调教”行为,长此以往是否会导致模型在未被直接监控的复杂场景或长尾数据分布上出现不可预知的精度漂移甚至灾难性遗忘?
还有一点就是AgileEdge如何在动态模型“打包”的过程中,系统性地量化并约束这种潜在的、累积性的精度损失?”
周昀眉头不自觉微微皱起,这个问题确实是他的疏忽,这和智商没有关系,完全就是科研经验上的不足。
但是这并不妨碍他回答,在大脑的高速运转下,他就想到应对方式:“老师的这个问题我确实想过,所以我设计了一个全新的指标对打包后的模型进行评价,不过因为还没有完善,所以PPT上没有展示。”
别问,问就是有,只不过他还没想出来。
邓永华也没追着刨根问底,毕竟还只是一个研零的学生,没必要太过严格,就周昀现在的表现来看,他已经很满意了。
最为核心的部分讲完了,接下来就是一些实际应用场景的讲解,比如工控领域,医疗领域等等。
“以上就是我的汇报,老师还有什么问题吗?”
邓永华摇摇头:“就先这样吧,邱彦,沈瑞,你们有什么问题吗?”其实问题还是有一些的,但还是那句话,没必要太过难为新生,现在这种程度已经够了。
身边两人听到自家导师提问,直接被吓了一激灵,同时摇头:“没问题。”
这让邓永华深深的看了两人一眼:“那今天的面试就先到这里,几位回去等通知吧?”
其实如果不是考虑到另外四位学生,他是想直接宣布周昀通过的,但是想了想还是算了。