摘要：
课程链接：https://www.bilibili.com/video/BV1Fa411G75m/?spm_id_from=333.788&vd_source=c2a322357481107ab7f418b1ae9ce618 一、build 写CMakeLists.txt文件； 写cmake/Tri 阅读全文
posted @ 2024-06-26 14:51
大师兄啊哈
阅读(97)
评论(0)
推荐(0)
摘要：
课程链接： 2.1.2.：https://www.bilibili.com/video/BV1VP4y1Z76R/?spm_id_from=333.788&vd_source=c2a322357481107ab7f418b1ae9ce618 2.1.3：https://www.bilibili.co 阅读全文
posted @ 2024-06-26 14:43
大师兄啊哈
阅读(98)
评论(0)
推荐(0)
摘要：
课程链接：https://www.bilibili.com/video/BV1FP41157dW/?spm_id_from=333.788&vd_source=c2a322357481107ab7f418b1ae9ce618 一、大纲 二、什么时候需要实现backend 需要运行Triton不支持的 阅读全文
posted @ 2024-06-26 14:34
大师兄啊哈
阅读(170)
评论(0)
推荐(0)
摘要：
课程链接：https://www.bilibili.com/video/BV1r3411M7rJ/?spm_id_from=333.788&vd_source=c2a322357481107ab7f418b1ae9ce618 一、同步请求 二、异步请求 三、share memory方式 适合clie 阅读全文
posted @ 2024-06-26 14:20
大师兄啊哈
阅读(98)
评论(0)
推荐(0)
摘要：
课程链接：https://www.bilibili.com/video/BV1tt4y1h75i/?spm_id_from=333.788&vd_source=c2a322357481107ab7f418b1ae9ce618 一、例子1 图片-预处理模型-分别进入不同的模型-输出不同的结果。 定义模 阅读全文
posted @ 2024-06-26 14:14
大师兄啊哈
阅读(167)
评论(0)
推荐(0)
摘要：
课程链接：https://www.bilibili.com/video/BV1WY4y1g7Vj/?spm_id_from=333.788&vd_source=c2a322357481107ab7f418b1ae9ce618 一、最简单的方式 开启Triton容器 运行Triton服务 二、检查服务 阅读全文
posted @ 2024-06-26 14:09
大师兄啊哈
阅读(390)
评论(0)
推荐(0)
摘要：
视频链接：https://www.bilibili.com/video/BV1ET411G7zV/?spm_id_from=333.788&vd_source=c2a322357481107ab7f418b1ae9ce618 一、最小模型配置 必要参数： platform/backend: 用于指定 阅读全文
posted @ 2024-06-26 14:01
大师兄啊哈
阅读(277)
评论(0)
推荐(0)
摘要：
课程链接：https://www.bilibili.com/video/BV1234y157Xh/?spm_id_from=333.788&vd_source=c2a322357481107ab7f418b1ae9ce618 一、Triton总体架构 服务端：模型仓库->backend->硬件 从模 阅读全文
posted @ 2024-06-26 11:55
大师兄啊哈
阅读(134)
评论(0)
推荐(0)
摘要：
视频链接：https://www.bilibili.com/video/BV1R3411g7VR/?spm_id_from=333.788&vd_source=c2a322357481107ab7f418b1ae9ce618 一、性能分析工具 Model analyzer： 是一套性能分析工具，提供 阅读全文
posted @ 2024-06-26 11:37
大师兄啊哈
阅读(203)
评论(0)
推荐(0)
摘要：
课程链接：https://www.bilibili.com/video/BV11Z4y1q7vW/?spm_id_from=333.788&vd_source=c2a322357481107ab7f418b1ae9ce618 这节主要介绍Triton是如何设计的。 一、从推理生命周期角度 多模型框架 阅读全文
posted @ 2024-06-26 11:20
大师兄啊哈
阅读(260)
评论(0)
推荐(0)
浙公网安备 33010602011771号