前言
已经一个月没有写 blog 了,感觉我再不写我的 blog 就要荒废了。
不过最主要的原因还是,我这个月实在没有做出什么比较有技术含量的事情可以拿来分享,主要的进展在生活中而不是在技术上,因此我决定写一些杂谈来讲述这个月我所经历的事情、我所感悟的心得。
正文
学校
NJU 开源软件论坛
一时间想不起来别的了,不过最让我影响深刻的还是在 NJU 的开源软件论坛 开会的经历。
这是我第二次参加这次会议了。第一次也是去年暑假,当时我刚加入 ustclug,被 ustclug 的同学邀请一起参加。那时参加会议的主要目的是听当年 ASC 参赛选手介绍自己的优化思路,因为当时我们虽然拿到了一等奖,但是排名并不靠前,就很想听一下其他学校的优化思路。
不过这次,我主要是作为 ustclug 的成员参与的,准确来说,是作为镜像站的维护者来参与 —— 众所周知,ustclug 的镜像站是国内高校最出名的镜像站之一。而今年,国内高校联合镜像站 mirrorz 正式发布了,我也来凑凑热闹看看什么事。
相比于第一次参加有点不知所措,第二次参加的我就游刃有余一些了,但是第一次和一位主要的维护 ustclug 服务的学长 taoky 见面的时候我还是很激动的。
会议本身的内容我现在也不记得很多了,因为大部分不是我研究的方向,相反,令我印象深刻的是各位同学和老师的对待生活自由散漫的态度。可能说的有点太抽象了,单纯就是每个人保持着对于技术的热情,积极探索的好奇让我感到很羡慕。因为在我看来,我自己是一个比较内敛的人,但是时常还是羡慕这些精力充沛、积极探索的同好们。
虽然在第三方的视角上,我可能是一个比较热爱研究技术的人,但是实际上,在生活和工作中,我其实是一个非常懒惰的人,对于各种新体验和新技术都不是很敏感,时常在很多地方反而是掉队很多,是一个比较矛盾的局面。
不过,在这次会议中,我看到了各位同学和老师的热情,感觉到我确实应该怀有一定的好奇和热情对待事物,应该尝试外向,尝试和外界多交流 —— 世界远比一个人大很多,保持好奇,不断学习!
ustclug 社团
随着之前在 ustclug 的同学/学长们毕业的毕业,出国的出国,实习的实习,校内的 ustclug 组织也冷清了许多,时常在校内见不到社员(不过可能是因为放暑假了都各干各的去了)。偶尔,某个老学长出差/旅游刚好到合肥,能在活动室内见一面,也算是为校内组织贡献一份热度了。我也逐渐意识到,ustclug 来到了代际交替的关键点 —— 一代人终将老去,但总有人正年轻。
虽然人都各奔东西了,但是校内服务还是要有人维护的,比如坏盘了要有人进机房换盘,不过大部分都是在线上联系通过 ssh 远程连接维护,也算是 ustclug 社员的一种别样的“团聚”形式了。
是不是有点太悲凉了,大概是因为写这一段的时候我在听 Little Busters! 的遥か彼方导致的,但是态度上我还是积极的,我们 ustclug 的校内业务不断拓展,和校内官方服务有着不可分割的深刻联系,完全是蒸蒸日上啊!
不过说实在,作为技术类社团/组织,ustclug 目前确实有点难招到那种野生的愿意来管理社团的 Linux User,而且在 AI 的冲击下,我们引以为傲的 hackergame 也彻底破产了,Linux 101 课程也逐渐变成 AI 可替代的可有可无的存在了,需要转型,需要变革!
目前,我还是积极参与日常维护工作,希望尽可能早点了解镜像站等主要服务的构成,能够做出自己的贡献,希望有朝一日也能在 ustclug 里独当一面!
ADSL 实验室
总感觉有点惭愧,我在实验室的工作总是被我放在比较低的优先级,总是攒在某一天推进一大部分,不过从 NJU 回来后,我感觉我的干劲更多了,应该能弥补一些工作量到这边。
目前我做的是存储系统方向,不同于 AI 方向偏向于抽卡和加入各种新奇巧思,系统方向的工作通常都需要很扎实的数据和分析打底,不然很容易变成虚空打靶,没有说服力,而且这方面的工作通常都是一定程度上依赖于具体负载场景的,这就更大地增加了工作量和难度。
anyway,虽然工作很多,很难,但是是我主动选择的方向,再大的困难也乐于克服!
420 Lab
欢迎光临星象馆,这里有无论何时都不会消失的、美丽的无穷光辉,漫天繁星在等待您的到来…
错乱了,欢迎光临中科大西区电三楼 420 实验室,这里有无论如何都不会消失的、偏移的无线电时钟,满机架电子元件在等待您的到来…
420 Lab 是和 ustclug 最为密切的组织之一,不过不同于 ustclug 更注重于网络和软件设施多一点,420 Lab 更注重于硬件和嵌入式开发多一点,和同位于电三楼 900 的无线电协会走得更近一些。
我所做的就是有时候去 420 串串门看看都在干什么,聊聊天、吹吹水,相对来说比较自由放松,顺便去本部吃顿好的。
生活
和高中同学相聚
生活方面,就不得不提 7 月底在 SJTU 夏令营时和高中同学再次相聚的经历了,这应该是自上大学以来第一次和其他高中同学线下见面的机会了。说来惭愧,除了大一寒假和大三暑假,我其他假期基本都没有时间回去,就算回去也只能回去几天,难以和同学相聚。而这次夏令营之旅,我刚好能够凑齐好几位同学,有的假期还没回家,有的在上海实习,有的也来参加夏令营,热热闹闹的真好。
应该永远忘不了这几个在从初中就在一个班的同学了,至少我是这样相信的,因为和高中同学相处总是明显有一股老乡的感觉,这是大学期间和其他人相处完全体会不到的一种氛围。
key 社作品
最近我把 key 社经典作品 Little Busters! 和 Angel Beats! 补了,说实在,这两部作品还是挺相似的,但是我还是觉得 lb 比 ab 给我带来更多的感动,虽然 ab 好像比 lb 有更高的知名度。
虽然在开看 lb 的时候,我已经大概知道 lb 的“世界的真相”是什么了,但是即便如此,key 社高超的讲故事能力和优质的 bgm 还是把我深深感动了,彻底被最后和恭介彻底告别的一幕所折服 —— 患难中互相搀扶的真挚友情最棒了!
至于 ab,b 站官方的画质是真 tm 烂啊,明明就有人上传过高清的版本,也不换源,我就不信这么多年来没人要求 b 站换源,纯纯的懒。剧情上,ab 的剧情瑕疵感觉有点多,尤其是进入死后世界的时间线 —— 男主比女主先死,但是女主比男主来得早得多,不过并不反感这是一部好的作品,op 和 ed 都是能单曲循环很多次的,立华奏也是最可爱的!
不得不说,key 社早期作品总是能够给我带来各种各样的感动,这一点我永远支持 key 社,我永远是 key 社的忠实粉丝啊!
写到这我才想起来,我还玩了 planetarian,感觉是太短了,所以一开始没想到,这个就不是 galgame 了,而是真正的 visual novel 了。唉,漫天繁星在等待您的到来,晚安,梦美!
工作
Linux 201 文档
Linux 201 文档是 ustclug 负责维护一份面向学生运维少量服务器的在线文档,而我主要负责其中“系统启动程序”的部分,不过我只写完了 x86 平台下的 Firmware 和 Bootloader 的部分,至于 Init,systemd 还得花点时间来调研了,实在是太庞大、太重要的 Linux 组成部分,不敢轻易下笔。
我始终觉得编写文档是一个很好的学习方法,能够强迫自己学习一下平时接触不到的知识,拓宽视野,学习和尝试新技术,并且最终变成可以复述的结构化的认知,唯一缺点就是比较花时间和精力。
qwen3.8-27b 自建和试用
首先我必须说明的是 qwen3.8-27b 是个非常好的模型,qwen 团队我向你们致敬!因为在小模型赛道上,qwen 系列模型基本上都是通杀其他所有模型,但是能力却不输各家 MoE 大模型模型,而且推理速度也非常可观,非常适合 self host 使用。
我使用的是两台 Atlas A2 机型,每机使用 4 张 910B3 NPU 卡部署的全精度 qwen3.8-27b 模型,和之前跑 glm-5.1-w8a8 和 qwen2.5-coder-32b-instruct 的机器是一样的。
部署过程中,我依旧觉得 vllm-ascend 难用到了极点 —— 谁懂即使跑的过程中 error 了,print stacktrace 了都还能正常推理正常跑?也就只能靠尝试各种参数来测试什么情况下可以正常推理,好在根据 vllm-ascend 的官方文档,我不需要修改很多部分就能正常跑起来。
使用过程中,qwen3.8-27b 我遇到了社区中提到的过度思考的问题,缓解方法就是使用 Qwen Sharp Chat Templates 去修复这个问题(怎么和 dsh 一样还要自己拼啊)。
anyway,在折腾了这么多之后,付出还是有回报的,qwen3.8-27b 的能力远超我的预期 —— 首先是说人话,已打败一众小模型和 gemini/gpt;其次是能力强,作为稠密模型,虽然知识量打不过同等 activation 大小的 MoE 模型,但是明显能打过同等总参数的 MoE 模型,能够清晰的理解我的意思并作出我想要的结果,虽然思考时间偏长了点是个问题。
目前,我已经将 qwen3.8-27b 接入到我的 dsh 和 omp 上了,至于手机上,我抛弃了之前一直使用的 Conduit,而是选择了一个今年 5 月开源的 Agora,这主要是因为 Conduit 依赖于 Open WebUI 去提供 Web Search、Shell 和 Skills 等高级功能,但是 Open WebUI 实在是太重了(烂完了),我不想部署,而 Agora 则将 Web Search、Shell 和 Skills 等高级功能内置到手机客户端上,只依赖于 OpenAI Compatible 接口的 API,这点就非常好!
深度用了好几天,我都觉得 qwen3.8-27b 是真的无敌,除了因为模型参数不够大导致知识能力不如 MoE 模型,我觉得一切都挺流畅,而且最重要的是,自部署的模型 token 随便花!实在不要太香!
算力平台建设
除此之外,我的一个额外的工作就是 107 算力平台的建设工作(虽然有点鸽)。
107 算力平台目前还是传统超算的 slurm + Singularity,但是这样带来的问题就是隔离性很差 —— 所有用户集中在同一个登录集群上,只靠 unix user 来区分,在 linux kernel 经历 CVE everyday 的现在,随随便便一个 0day 就很有可能被恶意用户攻击拿到 root。
因此,我的目的主要是尽可能的隔离 —— 使用 incus 跑 LXC 容器来保证基本的隔离,使用 pyxis + enroot 保证每个 slurm job 的隔离,用户可以在 LXC 容器中调用 srun 和 sbatch 提交任务,就像在登录集群里所做的那样。
不过,目前平台还在开发中,还没写完www。
结语
写到这里,我才发现这个月做的事情还是挺多挺杂的,但是几乎没有什么能够讲成一个比较有趣、比较完整的故事,因此写成一篇杂谈确实再好不过了。