使用LM Studio快速在本地体验最新的开源大模型
最近各公司团队密集发布自己新的大语言模型,Google发布了Gemini,微软发布了Phi-2小模型,Mistral发布了第一个MOE模型Mixtral-8x7B,都在宣传"最顶","天花板","最快",到底哪个模型更适合自己的项目,就需要亲自去部署和使用了.基于这个需求有了很多方便本地部署的第三方工具,比如oolama,vllm,Text Generation Inference等等,但是这些工具都有一定的技术门槛,LM Studio通过简单的操作就能下载各模型,通过GUI软件界面配置模型,一键就能启用和OpenAI兼容的API,可以配置使用CPU和内存做模型推理,减少传统大模型对GPU的依赖.软件暂时还不支持并发推理,所以个人研究使用没问题,不适合生产环境.