Ray Serve

适应场景

边缘客户端上本地化部署LLM

 

缺点

安装复杂,功能有限

 

URL

https://github.com/mlc-ai/mlc-llm