第二天早上起床,周昀感觉自己腰上有些酸痛。
“早知道昨天晚上不应该勉强的。”
为了保持一个健康的身体,周昀昨天晚上饭后休息了一会儿跑步去了。
一下跑了五公里,也许是太久没跑了,昨天还没什么感觉,现在起床,那叫一个酸爽。
昨天买的显示器已经到了,吃了个早饭,就把显示器取了回来。
看着27寸的大屏幕,周昀满意地点点头。
“这才对嘛。”
昨天邓永华已经把服务器的账号密码发给自己了。
先是下了个Termius,虽然Windows有自带的SSH连接工具,不过他更习惯Termius,主要是界面看上去比较舒服,年轻人嘛,总是喜欢炫酷一点的界面。
一顿操作之后,成功连接上了服务器。
服务器用的Linux系统,一般都是没有GUI也就是图形界面的,主要目的是为了减少资源的消耗,而且安全性也更高。
一开始用肯定会觉得有些别扭,但是用习惯了之后就会发现。
在科研领域,Linux比Windows方便太多了。
在自己电脑上搜索了一下Anaconda官网,找到最新版本的下载链接,然后直接用wget在服务器上开始下载。
Anaconda是AI领域最常用也可以说是必备的工具。
这服务器的网速还挺快,没一会儿就下好了。
接下来的流程就很固定了。
创建虚拟环境,安装pytorch,安装各种需要用到的包。
光是装环境,他就弄了一个上午。
顺便抽空看了一下服务器状态,果然,八张80G的H100,一共640G显存,虽然不止他一个人用,但是也剩下一半多,肯定是够用了。
AgileEdge的流程他心里早就想清楚了,写代码那就是水到渠成的事情。
而且现在都有AI辅助,核心框架一共几千行代码写起来都不需要一个小时。
再加上自己检查,调试。
下午五点钟就搞完了核心框架的所有代码,这种速度放在几年前,那是根本不敢想的。
而写代码只能说是整个科研过程中最为简单的一个步骤了。
接下来才是折磨的开始。
跑实验——>调BUG,这种枯燥的循环过程才是真正让人感觉心累的环节。
周昀在网上找了一个参数量在100B左右的大模型,本来他是打算找个几十B的就差不多了。
谁知道导师这么给力,资源多了,他也不那么扣扣嗖嗖了。
AgileEdge的主要作用就是将大模型压缩成小模型然后放到边缘设备里。
因为是全自动的AI框架,所以其操作流程非常的傻瓜。
只要将边缘设备连接到电脑,程序就会自动检测其硬件的具体参数,然后经过AgileEdge的压缩,不断地优化模型,最终形成一个能运行的模型文件。
边缘设备周昀暂时就找了一台老的智能机,内存只有32G,将手机插上数据线。
运行程序。
一个进度条出现在屏幕下方。
【预计时间:17h】
“就知道。”
只要涉及到大模型,实验的时间就不会短,不过十几个小时也算快了,前世周昀曾经一个实验跑了两周,主要就是当时的服务器实在太垃圾了。
三天后,周五。
经过几天的实验,周昀的AgileEdge算是初步能用,但是距离他预想的性能,还有一些差距。
而且不同的大模型之间,压缩后的性能也存在较大的差距。
他的想法是在模型压缩的同时,性能不变,但是现在看来,模型压缩,性能就一定会变差,这看上去似乎是一个无解的问题。
周昀能保证,自己的AgileEdge框架是没有问题的,不然也不可能实现模型压缩,那么有问题只可能是模型本身。
大模型本身特殊的架构,限制了其参数的数量。
简单来说就是,无论如何压缩,其总是会存在一个下限,而周昀要做的就是突破这个下限。
这就不得不对模型本身进行修改。
“看来之前还是想简单了。”
智能化修改大模型架构,又是一个不小的工程,就这个研究,都够发一篇A会了。
就在周昀思考的时候,群里弹出一条消息。
【点击入会】
要开组会了。
入会后,周昀第一时间就是先把自己闭麦。
等人到齐之后,组会开始。
其实线上的总共就三个人,其他人都是线下会议室的,也就是还没入学的新生才有线上组会这个待遇了。
“听得到吗?”邓永华的声音响起。
“可以。”×3
“先给大家介绍一下,这三位是咱们组新加入的同学,分别是周昀、邵诗、常承轩,大家平时有空可以多多交流。
闲话不多说,咱们开始吧,邱彦,你先来?”
接下来就是漫长的三个钟头。
在一个组里,大家的研究方向其实都不一定一样,这也就导致了,其实很多人汇报,其他人都是听不懂的,甚至老师也不一定了解你的研究方向。
这也是为什么周昀非常讨厌组会的原因。
不想听加上听不懂,还要硬控他三个小时,能喜欢的起来吗?
而且还是忍受老师时不时的“奇葩提问”。
比如:你的研究方向我不懂,但是我想问一下你的创新点是什么。
这种问题就很容易让人红温,但谁让对方是你导师呢。
你就必须得和颜悦色的给他解释。
不过邓永华倒是还好,以周昀三个钟头的观察下来。
对于不懂的研究方向,他一般不轻易提问,而且他主要关心的是学生的科研进度,如果有进度而且研究方向他不熟悉,其实还是蛮轻松的。
但要是没进度,再加上他又恰好懂你的研究方向。
那不好意思,一首凉凉送给你。
等到所有学姐学长都汇报完了之后,终于轮到周昀三人了。
“三位新同学,都有准备吧?要不周昀你先来?你上次的那个研究搞得怎么样了?还是说你要汇报论文?”
邓永华对周昀还是有些期待的,但是这么短的时间,想要有什么实质性的进度估计很难了。
“好的老师,那我就汇报一下我的科研进度?”
钱塘大学,会议室里。
坐在后排的几个师兄相互看了看,最终看向邱彦。
“这师弟什么情况?”