1在本地设备上部署轻量级模型实现隐私保护推理
- 1访问 Liquid AI 官网或 GitHub 仓库，下载适合目标硬件（如笔记本、边缘设备）的 Liquid 基础模型（LFM）权重文件。
- 2根据官方文档安装推理运行时（如 ONNX Runtime 或专用 SDK），并将模型加载到本地环境。
- 3使用提供的 API 或命令行工具输入文本，在本地完成推理，数据无需上传云端。
- 4根据硬件资源调整模型量化级别或批处理大小，以平衡延迟与精度。
2通过云端 API 快速集成低延迟文本生成能力
- 1在 Liquid AI 官网注册账号并获取 API 密钥。
- 2查阅 API 文档，了解请求端点、参数（如模型名称、输入文本、最大生成长度）。
- 3使用 HTTP 客户端（如 curl 或 Python requests）向 API 发送 POST 请求，传入 API 密钥和输入内容。
- 4解析返回的 JSON 响应，提取生成的文本并集成到自己的应用中。
3针对特定边缘硬件优化模型部署以降低延迟
- 1确认目标边缘设备的硬件规格（如 CPU 架构、内存、是否支持 NPU）。
- 2从 Liquid AI 提供的模型库中选择与硬件匹配的预优化 LFM 版本，或使用官方工具进行硬件感知编译。
- 3在设备上安装对应的推理引擎，并加载优化后的模型。
- 4运行基准测试，根据官方建议调整线程数、缓存策略等参数，达到最低延迟。