返回技术能力
Learning

Mobile AI

AI 模型跑在手机端——端侧推理、离线可用、隐私安全,移动 AI 是下一个爆发点。


它是什么

Mobile AI 指的是在手机/平板等移动设备上本地运行 AI 模型,不依赖云端 API。借助 Core ML(iOS)、Google AI Edge(Android)、llama.cpp 等框架实现端侧推理。

为什么重要

云端 AI 的痛点是延迟、网络依赖和隐私。端侧 AI 补充了这些不足:照片处理、语音识别、实时翻译这些场景,本地跑比等云端返回体感好太多。随着小型模型越来越强,Mobile AI 会越来越实用。

核心概念

On-device InferenceModel QuantizationCore MLllama.cppEdge TPUONNX Mobile

我的使用体验

感兴趣但还没动手。关注 Apple Intelligence 和 Gemini Nano 的发展。想试试在 iPhone 上跑量化版的小模型做本地的知识问答。

学习资源