相关日志，在之前使用的伺服器cpu上，运行一个epoch的训练耗时，平均在一个小时左右。」

齐教授微微颔首：「没错，一个小时，这已经是优化後的极限了，想要训练到一个勉强可用的精度，至少需要叠代10个epoch，那就是将近十三个小时。」

「是的。」漆昊微微一笑，「所以我昨晚尝试了新的方法，这是昨晚我运行10个epoch的实时训练输出日志，您可以看一下。」

漆昊轻敲回车，拉动滚动条，将昨晚的训练控制台日志呈现在所有人面前。

trapoch1010

totaltragti：1小时28分27秒

「这时间坏了吧？」陈工脱口而出。

齐教授顾不上教授的体面，半蹲着身子，开始快速翻看编译日志和cuda运行态监控。

屏幕上的实时数据显示得清清楚楚：gpu利用率在训练期间长期维持在932的数值。

双卡显存占用稳定，没有发生任何一次显存溢出。

pcle总线带宽利用率极低，说明绝大部分计算都在显存内部的高速cache中完成的。

而最终模型在测试集上跑出来的894的识别率，更是铁一般的事实，做不了任何假i

「你用的什麽显卡？」

"gtx580。

「6

游戏显卡？

在传统的cpu伺服器上，需要不吃不喝，辛辛苦苦跑上整整13个小时才能完成的训练闭环。

在这个少年的编程下，两块被所有人视为不务正业的游戏卡，居然把训练时长压缩到了一小时二十八分钟！

「我们现在可以重新测试一个数据集吗？」

「当然可以，反正也花不了多长时间。」漆昊自信地说。

齐教授重新选了一个数据集。

「我们就跑这个！这是大飞上个月刚发来的航拍数据集，整整18000张包含复杂室内光影和高噪点遮挡的图像。」

「由於多通道特徵极度交错，以前在至强伺服器上跑，光是前向传播的特徵对齐就能生生磨蹭掉一个半小时，整套叠代下来更是需要耗费将近大半天的时间，我们平时根本不敢轻易用它来做模型验证。」

「小漆，这个数据集的规模和复杂度，可比你刚才跑的那套普通数据要高得多，你敢用它现跑吗？」

「当然可以，无非就是多花个几分钟罢了。」

漆昊坦然说道，然後他修改了配置文件里的数据集加载路径，随後熟练地在终端输入了编译和运行指令。

「第一轮叠代，开始加载数据————」

控制台的第一行日志跳了出来，整个实验室的人的目光都被吸引过去了。

当第一轮叠代结束，用时6分3秒！

陈工第一个打破了沉默，他难以置信地低头看了看自己手机上的秒表，又擡头看了看屏幕上的日志，茫然了起来：「老曾，我刚才没眨眼吧？那个最难啃的c3航拍数据集，第一轮前向计算和反向梯度的无锁更新，真的只花了不到六分半钟？」

「没看错，数据是实时的，显卡核心温度目前稳定在78度，也没有出现任何溢出报错「」

。

曾工此时正神色复杂地调出了系统的硬体监控界面。

他指着屏幕上一条几乎呈直线波动的带宽监控，眉头紧锁地说道：「最奇怪的是这里，18000张高噪点图像，数据量非常庞大，在我们的传统认知里，在cpu内存和显卡显存之间频繁传输这麽多数据，总线的带宽早就应该被挤爆了，从而拖慢整个gpu的计算。」

「但在漆昊这套系统里，带宽占用率很正常，数据像是顺着一条没有堵塞的高速公路，无缝地流进了显卡的流处理器里，漆昊，你是怎麽把这个总线延迟给绕过去的？」

面对曾工的询问，漆昊解释道：「曾工，其实我并没有绕过物理带宽限制，我只是利用了cuda提供的异步流和双缓冲机制，把数据传输的延迟给隐藏起来了。」

曾工点头，听得很认真。

其他研究生不敢走神，生怕错过什麽细节，一直到最後一轮叠代结束。

totaltragti：1小时29分39秒

陈工低呼了一声：「不是吧，这不科学！」

漆昊不好意思地说：「其实这个训练时间还可以再缩短一点，目前还有不少优化空间。」

陈工已经无以对了。

漆昊无形之间的