#local LLM inference

开源项目 cobanov/PS5LM 在 GitHub 上展示如何让越狱后的 PlayStation 5 通过 llama.cpp 原生运行 GGUF 格式模型，面向愿意折腾越狱主机的本地推理用户。该条目未附带项目正文，因此具体支持的模型、量化方式、内存占用与实际推理速度均无法核实，现有性能数字都来自社区评论而非项目方或第三方实测。

Apple ML 研究团队介绍了一项用分布式 MLX 在四台 Mac Studio 上运行近万亿参数模型 Muse Spark Open 的方案，文章称该集群生成速度超过 36 tokens/秒，单台 Mac Studio 最高支持 512GB 统一内存并可向外扩展，所用最新版 MLX 同日发布。这是 Apple 描述的方案与厂商展示，并非独立复现；社区讨论同时质疑其基准公平性和 8K 上下文的实用性。