KubeExplorer

摘要： 本文主要分享一个 K8s 1.31 增加的一个新 Feature：ImageVolume。允许直接将 OCI 镜像作为 Volume 进行挂载，加速 artifact 分发。 1.背景 Kubernetes 社区正在积极发展，以更好地支持未来的人工智能 (AI) 和机器学习 (ML) 场景。 为满足 阅读全文

摘要： 本文主要分享一个开源的 GPU 虚拟化方案：HAMi，包括如何安装、配置以及使用。 相比于上一篇分享的 TimeSlicing 方案，HAMi 除了 GPU 共享之外还可以实现 GPU core、memory 得限制，保证共享同一 GPU 的各个 Pod 都能拿到足够的资源。 1.为什么需要 GPU 阅读全文

摘要： 本文主要分享 GPU 共享方案，包括如何安装、配置以及使用，最后通过分析源码了 TImeSlicing 的具体实现。通过配置 TImeSlicing 可以实现 Pod 共享一块物理 GPU，以提升资源利用率。 1.为什么需要 GPU 共享、切分等方案？ 开始之前我们先思考一个问题，为什么需要 GPU 阅读全文

摘要： 本文主要分享如何使用 LLaMAFactory 实现大模型微调，基于 Qwen1.5-1.8B-Chat 模型进行 LoRA 微调，修改模型自我认知。 本文的一个目的：基于 Qwen1.5-1.8B-Chat 模型进行微调，修改模型自我认证。 修改前对于 Qwen1.5-1.8B-Chat 模型，用 阅读全文

摘要： 本文主要分享一下大模型微调相关的基本概念，包括大模型(GPT)训练流程、微调(SFT)方法&分类&框架&最佳实践、强化学习(RLHF)，最后则是分享了如何训练垂直领域大模型。 本文是参考网上博客、文章后进行总结而成，旨在让刚接触大模型的同学阅读后能对大模型训练的各个阶段有一个大致的概念。大佬可以直接 阅读全文

摘要： 本文主要分享如何使用 基于 Admission Webhook 实现自动修改 Pod DNSConfig，使其优先使用 NodeLocalDNS 。 1.背景 上一篇部署好 NodeLocal DNSCache，但是还差了很重要的一步，配置 pod 使用 NodeLocal DNSCache 作为优 阅读全文

摘要： 本文主要分享如何使用 NodeLocal DNSCache 来提升集群中的 DNS 性能以及可靠性，包括部署、使用配置以及原理分析，最终通过压测表明使用后带来了高达 50% 的性能提升。 1.背景 什么是 NodeLocalDNS NodeLocal DNSCache 是一套 DNS 本地缓存解决方 阅读全文

摘要： 本文主要分析了在 K8s 中创建一个 Pod 并申请 GPU 资源，最终该 Pod 时怎么能够使用 GPU 的，具体的实现原理，以及 device plugin、nvidia-container-toolkit 相关源码分析。 1.概述 在 两篇文章中分别分享了在不同环境如何使用 GPU，以及在 k 阅读全文

摘要： 本文主要分析 k8s 中的 device-plugin 机制工作原理，并通过实现一个简单的 device-plugin 来加深理解。 1. 背景 默认情况下，k8s 中的 Pod 只能申请 CPU 和 Memory 这两种资源，就像下面这样： resources: requests: memory: 阅读全文

摘要： 本文主要分享如何使用 vLLM 实现大模型推理服务。 1. 概述 大模型推理有多种方式比如 最基础的 HuggingFace Transformers TGI vLLM Triton + TensorRT-LLM ... 其中，热度最高的应该就是 vLLM，性能好的同时使用也非常简单，本文就分享一下 阅读全文