摘要: 多模态数据挖掘引擎的弹性调度设计 私有化多模态数据挖掘引擎的弹性调度与资源治理:CPU、内存、IO、GPU 如何协同调度 系列文章导航 篇章 标题 关注点 01 多模态数据挖掘引擎的弹性调度设计 讲多模态分析任务如何根据 CPU、内存、IO、GPU 算力与显存做统一调度 02 为什么图片搜索不能只靠 阅读全文
posted @ 2026-05-09 01:43 darklx 阅读(22) 评论(0) 推荐(0)
摘要: 为什么图片搜索不能只靠整图向量:图片搜索之索引与检索设计实践 系列文章导航 本系列围绕 私有化 AI 数据挖掘引擎 的架构设计展开,记录多模态数据分析、索引构建、检索设计与资源治理等关键问题的实践思考。 篇章 标题 关注点 01 多模态数据挖掘引擎的弹性调度设计 讲多模态分析任务如何根据 CPU、内 阅读全文
posted @ 2026-05-09 00:34 darklx 阅读(17) 评论(0) 推荐(0)
摘要: struct 与内存指针互转 其实,网上有多种方法,实测效率差别较大,有个项目对性能极其敏感,因此反复研究测试,得出了最高效率的方式。 先定义 struct 数据结构 [DebuggerDisplay("NameLength = {NameLength}, NodeIndex = {NodeInde 阅读全文
posted @ 2024-11-16 18:56 darklx 阅读(111) 评论(0) 推荐(1)
摘要: 队列消费者线程操作信号量释放的时候线程被带出的问题 在生产者-消费者场景下,如果消费者完成处理,并通过信号量发出通知时(比如通过 TaskCompleteSurce.SetResult()、SemaphoreSlim.Release()),如果这个信号量是被外部所传入,应该避免在队列自身的线程去释放 阅读全文
posted @ 2024-11-16 16:20 darklx 阅读(59) 评论(0) 推荐(1)
摘要: StackOverflow 有人说自己的 Disruptor.NET 代码比 BlockingCollection 还有慢 2 倍,并且把完整代码贴出,楼下几个老外也的回复说了一堆,但是没研究出个所以然来,讨论到最后甚至说可能你的场景不适合 Disruptor,我对此表示怀疑,BlockingCol 阅读全文
posted @ 2019-10-28 21:32 darklx 阅读(659) 评论(0) 推荐(2)
摘要: 通过对 WordPress 数据库进行表分区和数据库结构调整和索引优化,提升 WordPress 数据库查询效率。 阅读全文
posted @ 2018-01-29 14:13 darklx 阅读(4127) 评论(1) 推荐(0)
摘要: 多线程不是开 N 个线程:多模态索引系统的并发调度设计 全局多任务调度、Channel 并发控制、支持暂停、恢复与动态并发调整的并发模型 前情提要 多模态数据挖掘引擎 用于对用户自己的文档、图片、扫描件等数据进行持续分析和索引。 系统会把文件系统中的非结构化数据,逐步转换成可检索、可分析、可关联的数 阅读全文
posted @ 2026-05-10 15:44 darklx 阅读(5) 评论(0) 推荐(0)
摘要: 复杂系统下关联业务的解耦与组合式架构设计 系列文章导航 篇章 标题 关注点 01 多模态数据挖掘引擎的弹性调度设计 讲多模态分析任务如何根据 CPU、内存、IO、GPU 算力与显存做统一调度 02 为什么图片搜索不能只靠整图向量:图片搜索之索引与检索设计 讲图片搜索为什么需要视觉内容标签化、标签倒排 阅读全文
posted @ 2026-05-10 12:47 darklx 阅读(3) 评论(0) 推荐(0)
摘要: 背景:程序使用 ONNX Runtime 运行AI模型推理,但是仅能使用CPU执行,一旦想使用支持GPU版本的包"Microsoft.ML.OnnxRuntime.DirectML",程序就卡住一会然后崩溃。 引发崩溃的代码如下: int gpuDeviceId = 0; var sessionOp 阅读全文
posted @ 2025-08-01 21:45 darklx 阅读(115) 评论(0) 推荐(0)
摘要: 这是以前为基于 .NET Framework 的 ASP.NET 重写页面 ASP.NET 默认的黄色异常页面不是特别清晰,其实可以进一步显示异常的信息,因此框架对异常页面进行了重写。 ASP.NET Core 的异常页面比 ASP.NET 好了不少,但是这个页面某些方面仍然比 ASP.NET Co 阅读全文
posted @ 2020-10-29 00:34 darklx 阅读(230) 评论(0) 推荐(0)
摘要: Orchard Core 带有很多单元测试,使用 Xunit 单元测试框架,除了简单的直接调用待测试的方法,有一些复杂的测试是需要上下文的,甚至需要 Application 程序启动起来,Orchard Core 的例子中有一个基于 HTTP 的 Application 测试,但是其测试都是通过调用 阅读全文
posted @ 2020-09-22 10:28 darklx 阅读(234) 评论(0) 推荐(0)