ESC
キーワードを入力してください

vLLM Project

設立: 2023年 本社: Berkeley, CA, USA

AI 関心領域

inference serving performance

概要

高スループット LLM 推論サーバ「vLLM」を開発するオープンソースコミュニティ。UC Berkeley Sky Computing Lab で誕生。