1. vLLM 模型启动核心流程解析
vLLM 是一个高性能的 LLM 推理和服务引擎,其模型启动过程经过精心设计以确保安全性和灵活性。以下是完整的启动流程:
1.1 引擎初始化阶段
当 vLLM 启动时,首先会初始化 EngineCore 类。这个核心组件负责协调整个推理过程的生命周期管理。在初始化过程中,引擎会完成以下关键操作:
- 插件加载:通过
load_general_plugins()加载所有已注册的插件模块 - 配置验证:检查提供的
VllmConfig参数是否合法有效 - 执行器初始化:根据配置创建对应的模型执行器实例
- KV缓存初始化:通过
_initialize_kv_caches()方法设置 GPU 和 CPU 的缓存块
提示:KV缓存的初始化会考虑可用显存大小,这是影响推理批处理能力的关键因素
1.2 模型架构检查机制
vLLM 采用独特的延迟加载和子进程隔离机制来检查模型架构:
python复制def inspect_model_cls(self) -> _ModelInfo:
# 检查模型文件哈希
model_path = Path(__file__).parent / f"{self.module_name.split('.')[-1]}.py"
if model_path.exists():
with open(model_path, "rb") as f:
module_hash = safe_hash(f.read()).hexdigest()
# 先尝试从缓存加载模型信息
cached_info = self._load_modelinfo_from_cache(module_hash)
if cached_info:
return cached_info
# 缓存未命中时在子进程中执行检查
return _run_in_subprocess(
lambda: _ModelInfo.from_model_cls(self.loa
