Unsloth让大模型跑在手机上！ - 文章 - 开发者社区

想在手机上跑个像样的语言模型？以前要么慢得抓狂，要么精度惨不忍睹。现在Unsloth放出完整教程，把他们平台微调的模型直接部署到Pixel 8和iPhone 15 Pro上。

picture.image

背后用的是Meta在Instagram和WhatsApp里的ExecuTorch技术。专门为移动端优化，榨干ARM处理器的NEON指令集，调用手机NPU加速。Qwen2-0.5B在旗舰机上跑出40-50 token/s，聊天体验相当流畅。

picture.image

精度损失是老大难问题。教程详细介绍量化感知训练（QAT）流程：先用Unsloth的4bit LoRA微调，通过TorchAO做INT8量化，最后用校准数据集恢复精度。这套连招把量化损失控制在30%以内。

iPhone部署步骤

1. 模型准备 ：在Unsloth云端完成微调，选择导出格式为ExecuTorch，下载.pte文件（约200-500MB）

2. Xcode项目设置 ：

新建iOS项目，最低支持iOS 15.0
在项目设置中添加ExecuTorch框架依赖
Info.plist中添加内存使用权限： NSAppUsageDescription

3. 集成SDK ：

  
import ExecuTorch  
  
class ModelManager {  
    private var model: Module?  
  
    func loadModel() {  
        guard let modelPath = Bundle.main.path(forResource: "model", ofType: "pte") else { return }  
        model = try? Module(filePath: modelPath)  
    }  
  
    func generate(prompt: String) -> String {  
        return try? model?.forward([prompt]).toString() ?? ""  
    }  
}

4. 内存优化 ：预分配500MB+内存池，避免运行时OOM。A17 Pro芯片启用Metal Performance Shaders加速。

Android部署步骤

方案一：使用etLLM应用

从GitHub下载etLLM APK安装
将.pte模型文件复制到手机存储
在etLLM中导入模型文件即可使用

方案二：自开发集成

1. 项目配置 ：在app/build.gradle添加依赖

  
dependencies {  
    implementation 'org.pytorch:executorch-android:0.3.0'  
    implementation 'org.pytorch:pytorch\_android\_lite:1.13.1'  
}

2. 权限设置 ：AndroidManifest.xml中添加

  
<uses-permission android:name="android.permission.READ\_EXTERNAL\_STORAGE" />  
<uses-permission android:name="android.permission.WRITE\_EXTERNAL\_STORAGE" />

3. 加载模型 ：

  
public class LLMInference {  
    private Module module;  
  
    public void loadModel(String modelPath) {  
        try {  
            module = LiteModuleLoader.load(modelPath);  
        } catch (Exception e) {  
            Log.e("LLM", "模型加载失败: " + e.getMessage());  
        }  
    }  
  
    public String generate(String prompt) {  
        IValue inputTensor = IValue.from(Tensor.fromBlob(prompt.getBytes(), new long[]{1, prompt.length()}));  
        IValue output = module.forward(inputTensor);  
        return output.toStr();  
    }  
}

4. 硬件加速 ：骁龙设备配置SNPE，在初始化时启用Hexagon DSP

  
// 启用DSP加速  
System.setProperty("executorch.backend", "hexagon");

部署注意事项

内存管理是关键。iOS需要在AppDelegate中预分配内存池：

  
func application(\_ application: UIApplication, didFinishLaunchingWithOptions launchOptions: [UIApplication.LaunchOptionsKey: Any]?) -> Bool {  
    // 预分配内存  
    let memoryPool = UnsafeMutableRawPointer.allocate(byteCount: 512 * 1024 * 1024, alignment: 64)  
    ExecuTorchMemoryManager.shared.setMemoryPool(memoryPool)  
    return true  
}

Android要避免GC压力，使用Native内存：

  
static {  
    System.loadLibrary("executorch\_jni");  
}

模型文件传输有讲究。500MB文件不要打包到应用里，采用首次启动下载或分片加载：

  
// 分片下载示例  
private void downloadModelInChunks(String url, String localPath) {  
    // 实现分片下载逻辑，每片10MB  
}

温控必不可少。连续推理会让手机发热：

  
private void checkCPUTemperature() {  
    if (getCPUTemperature() > 70) {  
        // 降低推理频率或暂停  
        Thread.sleep(1000);  
    }  
}

开发者反馈离线推理延迟稳定在100ms以内，比调云端API快不少。隐私保护是实打实的好处，敏感数据不用上传，医疗、法务等行业特别适用。

不过，由于只支持0.5B-1.5B参数的小模型，复杂推理能力有限。微调质量很大程度上决定最终效果，数据质量不行，出来的模型也好不到哪去。

这种本地部署更像云端大模型的补充，适合需要实时响应、离线工作的特定场景。

目前支持的模型：

Qwen 3 dense model（Qwen3-0.6B、Qwen3-4B、Qwen3-32B 等）
Gemma 3 model（Gemma3-270M、Gemma3-4B、Gemma3-27B 等）
Llama 3 model（Llama 3.1 8B、Llama 3.3 70B Instruct 等）
Qwen 2.5、Phi 4 Mini 等模型。

教程：https://docs.unsloth.ai/new/deploy-llms-phone

关注公众号回复“进群”入群讨论。