Jetson 超频刷机教程!解锁端侧AI推理怪兽的算力极限,附实测对比

大模型容器数据库

picture.image

猴哥的第 157 期分享,欢迎追看

前不久,Nvidia 发布了 JetPack 6.2,帮助 Jetson Orin 系列模组,在不增加硬件成本的前提下,实现性能升级,最多可提升至 2 倍

以笔者手头的 Orin Nano 为例:

picture.image

picture.image

其本质是,通过提升模组功耗,解锁 GPU、DLA 内存和 CPU 更高时钟频率。

picture.image

这里最值得瞩目的是 MAXN SUPER ,它是一种无上限的功率模式,支持的时钟频率最高。

不过你也不必担心安全,即便在该模式下,如果总功率超过热设计功率(TDP)上限,系统会自动调低频率,降低性能,将温度控制在热上限内。

为了成功给 Jetson 开启 MAXN SUPER 模式,笔者也踩了不少坑。

今日分享,希望能帮有需要的朋友少走点弯路。

  1. 刷机前准备

首先,准备一根杜邦线或者跳线帽,把板子的 FC\_recGND 短接,进入Recovery mode

picture.image

然后,用一根支持数据传输功能的 USB/Type-C 线,将 Linux 主机与 Jetson 开发套件连接。

最后给 Jetson 上电。

你会发现,要给 Jetson 刷机,就得搞来一台 Linux 主机,笔者本想偷个懒,直接用 windows 上的虚拟机 wsl 来搞,浪费了不少时间。

下面,分别分享下踩坑记录成功实践

  1. WSL 刷机(失败)

Windows Subsystem for Linux (WSL) 是微软为 Windows 开发的一个兼容层,允许用户在 Windows 中直接运行 Linux 发行版。

对于简单的 Linux 系统使用,还是很方便的,感兴趣的小伙伴可看教程:Windows 上安装 Linux 子系统,搞台虚拟机玩玩

不过 WSL 1 不支持识别主机的 USB 设备,只有 WSL 2 才行,配置步骤如下:

step 1: 安装 usbipd-win 工具

  • 在 Windows 上安装 usbipd-win,打开 PowerShell(以管理员身份),运行以下命令进行安装:
  
winget install --interactive --exact dorssel.usbipd-win  

step 2: Windows 中配置 USB 设备

  • 打开 PowerShell(以管理员身份),运行以下命令:
  
usbipd list  

picture.image

  • 绑定设备到 wsl:
  
usbipd bind --busid 2-1  
usbipd attach --wsl --busid 2-1  

picture.image

picture.image

step 3: WSL 中验证 USB 设备

  
lsusb  

picture.image

可以看到 Jetson 已出现在列出设备中。

问题是,安装过程中,USB 连接经常断开,非常不稳定,最终放弃!

  1. Ubuntu 主机刷机(成功)

看来,还得搞一台 Linux 主机~

这下好,废弃多年的笔记本终于有了用武之地,4G 内存,跑个 Linux 妥妥没问题~

杀入 Ubuntu 官网,发现 Ubuntu 已更新到 24.04,果断 down 下来,一顿操作,居然识别不了硬盘,折腾了半天没找到问题在哪。

最后换了 22.04,系统成功装上,开始刷机!

刷机有两种方式,下面任选其一即可。

3.1 SDKManager 刷机

在 Ubuntu 主机中,打开浏览器下载 SDK Manager。

下载地址:https://developer.nvidia.com/sdk-manager

picture.image

下载完成后,进入下载路径进行安装,终端输入:

  
cd Downloads  
sudo dpkg -i sdkmanager\_2.2.0-xxx\_amd64.deb  

安装过程中如果出现报错,提示找不到依赖文件,输入修复命令:

  
sudo apt update  
sudo apt upgrade  
sudo apt --fix-broken install  

确保没有任何报错,安装成功后,终端输入 sdkmanager 打开软件。

首先需要用账号登录 Nvidia 并进行验证。

如果板子正确进入到 Recovery mode,SDK Manager 就会检测到 Jetson Orin Nano 设备,这里选择 Jetson Orin Nano(8GB deceloper kit version):

picture.image

进来后,选择安装哪些内容,Host Machine 无需勾选,这是在你的 Ubuntu 主机上安装 cuda 等内容。

最重要的是 JetPack 6.2 ,2025年1月发布的最新更新,将电源模式从 6.1 的 7W/15W/MAXN 提升到 15W/25W/MAXN SUPER,功率更大,因此性能更强。

picture.image

确认安装内容后,刷机主要包括三个部分

picture.image

接下来进入漫长的安装过程,大约需要 1-2 小时,安装 Jetson Linux 系统后,会跳出界面提示输入用户名和密码:

picture.image

这时给板子接上显示器,即可看到界面,完成配网,系统就算安装成功了:

picture.image

如果选择 Jetson Runtime Components 和 Jetson SDK Components,还会继续下面流程:

picture.image

当然,这时系统已经 ready 了,这部分也可以登录 Jetson 开发板后,再进行安装。

至此,SDKManager 刷机的流程全部结束!

如果你觉得麻烦,可以接着往下看,采用命令行刷机

3.2 命令行刷机

命令行刷机相对更简单。

首先,前往官网下载 Driver Package (BSP)Sample Root Filesystem

下载地址:https://developer.nvidia.com/embedded/jetson-linux-r3643

picture.image

然后,解压并构建完整的烧录环境:

  
tar xf Jetson\_Linux\_R36.4.3\_aarch64.tbz2   
sudo tar xpf Tegra\_Linux\_Sample-Root-Filesystem\_R36.4.3\_aarch64.tbz2 -C Linux\_for\_Tegra/rootfs/  
cd Linux\_for\_Tegra/  
sudo ./tools/l4t\_flash\_prerequisites.sh  
sudo ./apply\_binaries.sh  

过程中,可能缺失安装包,缺啥装啥。

确保看到如下指令,成功烧录环境:

picture.image

最后,执行如下命令,开始刷机:

  
sudo ./tools/kernel\_flash/l4t\_initrd\_flash.sh --external-device nvme0n1p1 -c tools/kernel\_flash/flash\_l4t\_t234\_nvme.xml -p "-c bootloader/generic/cfg/flash\_t234\_qspi.xml" --showlogs --network usb0 jetson-orin-nano-devkit-super internal  

看到如下日志,代表刷机成功:

  
Flash is successful  
Reboot device  
Cleaning up...  
Log is saved to Linux\_for\_Tegra/initrdlog/flash\_1-2\_0\_20250226-163014.log  

此时,给 Jetson 开发板接上显示器,右上角可以切换 Power mode

picture.image

恭喜您,Jetson 成功进入 MAXN SUPER 模式。

  1. 刷机后体验

4.1 安装 jtop 和 nvidia-jetpack

为了实时查看 CPU、GPU、内存等资源的使用情况,还需要安装一个工具:

  
sudo apt-get update  
sudo apt-get upgrade  
sudo apt-get install python3-pip  
sudo pip3 install -U jetson-stats  

安装完成后,终端输入 jtop 即可启动工具。

然后,安装 NVIDIA JetPack 软件包,这里打包了与设备相关的工具、库和驱动程序,包括:cuda cudnn tensorrt 等。

  
sudo apt update  
sudo apt install nvidia-jetpack  

再次打开 jtop,发现依赖全部 ready 了:

picture.image

4.2 运行频率对比

刷机前(Jetpack 5.1)

picture.image

刷机后(Jetpack 6.2)

picture.image

发现 Super 模式下并没有超频?

这是因为 jetson clocks 处于 inactive 状态,jetson\_clocks 用于管理设备的时钟频率,以实现超频和性能优化。

如果 jetson\_clocks 已安装但未激活,需手动启用:

  
sudo jetson\_clocks  

终于,成功实现超频!

picture.image

4.3 LLM 推理速度对比

Ollamaqwen2.5:7b 为例,非流式输出,直接使用输出文本字数进行平均耗时对比。

测试案例如下:

  
messages = [{ "role": "user", "content": "天空为什么是蓝色的"}]  

超频前(Jetpack 5.1)

  
qwen2.5-7b time: 45.86s, token/s: 9.31  
qwen2.5-7b time: 37.87s, token/s: 9.48  
qwen2.5-7b time: 44.05s, token/s: 9.72  
qwen2.5-7b time: 30.55s, token/s: 9.23  
qwen2.5-7b time: 50.36s, token/s: 9.13  

超频后(Jetpack 6.2)

GPU 利用率打满, 1GHz 满负荷运行,内存占用 7.1 G/7.4G。

  
qwen2.5:7b time: 24.78s, token/s: 12.19  
qwen2.5:7b time: 31.17s, token/s: 12.42  
qwen2.5:7b time: 32.50s, token/s: 12.74  
qwen2.5:7b time: 41.48s, token/s: 12.32  
qwen2.5:7b time: 26.86s, token/s: 13.33  

可以看到,加速比基本符合预期,对应文首第一张图。

超频模式下,2 分钟内,设备温度会迅速上升,这里可以重点关注一下:

picture.image

写在最后

本文分享了 JetPack 6.2 的开发环境搭建,并用 Ollama 大模型推理做了一个简单的测速。

如果对你有帮助,欢迎点赞收藏 备用。

本系列文章,会陆续更新在 Jetson 上完成 AI 应用开发的相关教程,欢迎感兴趣的朋友关注。


为方便大家交流,新建了一个 AI 交流群,公众号后台「联系我」,拉你进群。

👇 关注猴哥,快速入门AI工具

picture.image

# AI 工具:

本地部署大模型?看这篇就够了,Ollama 部署和实战

盘点9家免费且靠谱的AI大模型 API,统一封装,任性调用!

免费GPU算力本地跑DeepSeek R1,无惧官方服务繁忙!

# AI应用** :**

弃坑 Coze,我把 Dify 接入了个人微信,AI小助理太强了

我把「FLUX」接入了「小爱」,微信直接出图,告别一切绘画软件!

202K 下载!最强开源OCR:本地部署,邀你围观体验

阿里开源TTS CosyVoice 再升级!语音克隆玩出新花样,支持流式输出

借 WeChatFerry 东风,我把微信机器人复活了!

成本不到50的AI对话机器人,如何自建服务端?自定义角色+语音克隆

0
0
0
0
关于作者

文章

0

获赞

0

收藏

0

相关资源
火山引擎大规模机器学习平台架构设计与应用实践
围绕数据加速、模型分布式训练框架建设、大规模异构集群调度、模型开发过程标准化等AI工程化实践,全面分享如何以开发者的极致体验为核心,进行机器学习平台的设计与实现。
相关产品
评论
未登录
看完啦,登录分享一下感受吧~
暂无评论