摘要： GPU驱动升级安装 驱动 # 更新软件源列表 sudo apt update # 查看可用的 NVIDIA 驱动版本 ubuntu-drivers devices # 安装推荐版本 sudo ubuntu-drivers autoinstall # 或者选择安装指定版本 sudo apt insta 阅读全文

摘要： 参考文献 vllm官方prefix缓存设计文档：https://github.com/vllm-project/vllm/blob/main/docs/design/prefix_caching.md 数据表现 原始计算轮数据： FlashAttentionMetadata: (num_actual 阅读全文

摘要： docker打包 文件组织 -maker_docker --dockerfile --requirement.txt dockerfile # 使用指定的 CUDA 基础镜像 FROM nvcr.io/nvidia/cuda:12.8.1-cudnn-devel-ubuntu22.04 # 设置环境 阅读全文

摘要： vllm代码框架 框架整体调度流程 用户代码 │ │ 1. 同步/异步调用 ▼ ┌──────────────────────────┐ │ LLM / AsyncLLMEngine │◀─ yield / return ───┐ │ ·tokenize&pre-process │ │ │ ·生成 阅读全文

摘要： https://ai-bot.cn/#term-2 阅读全文

摘要： 1.pycharm配置 1）pycharm git 配置： https://blog.csdn.net/u012856866/article/details/132688006 开发时，只需要在空白文件夹中git clone, 再使用pycharm以项目方式打开，即可同步 2）pycharm 自建项 阅读全文

摘要： AI框架 https://chenzomi12.github.io/01Introduction/README.html https://openmlsys.github.io/chapter_introduction/design.html 23种设计模式 https://blog.csdn.ne 阅读全文

摘要： 1.修改网络配置 vim /etc/resolv.conf 2.bashrc配置 vim ~/.bashrc 历史指令补全 bind -f ~/.inputrc vim ~/.inputrc # inputrc文件中设置快捷键 3.docker指令： （需要在容器外宿主机上执行） 容器创建：dock 阅读全文