CTranslate2
Triton：推理服务器为服务器启动时指定的一个或多个模型存储库中的模型提供服务。
GPTCache：实现缓存来提高基于GPT的应用程序的效率和速度，以存储语言模型生成的响应。
Replicata:支持多种机器学习框架和语言