llama_index
Haystack
SuperAGI
EmbedChain
Ray Serve
OpenLLM
CTranslate2
Text generation inference
vLLM推理速度最快
LLama-hub：提供了多种评估指标和工具