2026年3月27日
大模型排查代码问题的制约因素
摘要： 1、输入长度 理论上，大模型是可以从工程总体角度去分析多线程问题，但现实是现在的大模型，对输入长度是有限制的，尤其开源大模型，其最大长度一般<=128K个token，换算为字符数，大约是512K个字符，而商用的软件系统，随便一个工程，甚至其一个功能模块都可能远超512K个字符，因此，需要寻找一个能够 阅读全文
posted @ 2026-03-27 09:20 tgltt 阅读(11) 评论(0) 推荐(0)
大模型方案之初尝试--基于RAG检测工程代码问题
摘要： 由于大模型自身固有的制约因素，大模型方案核心在于解决如何筛选工程中的多线程代码，然后让大模型扫描这些筛选出来的代码，分析其中的多线程问题。 初期尝试是采用RAG，尝试筛出工程中的多线程代码。 一、RAG概述 RAG是Retrieval Augmented Generation的英文缩写，中文名为检索 阅读全文
posted @ 2026-03-27 09:17 tgltt 阅读(23) 评论(0) 推荐(0)
大模型检测代码问题优化思路
摘要： 以优化大模型检测多线程问题为例，可按四阶段走的策略进行。 第一阶段：代码段扫描 这个阶段的目标，是让大模型每次检查一个代码片段，输出该代码段的多线程问题，并保证足够的准确率。由于本阶段扫描的是代码段，缺少非常多的上下文信息，自然会有比较高的误报率，对此有2种优化方法： l 优化Prompt 利用提示 阅读全文
posted @ 2026-03-27 09:16 tgltt 阅读(42) 评论(0) 推荐(0)
2024年10月31日
QLoRA原理分析
摘要： QLoRA是LoRA的量化版本，在LoRA的基础上，对权重W进行量化，如图2所示，以进一步减少对GPU显存的需求。 1、算法论文及代码 论文 《QLORA: Efficient Finetuning of Quantized LLMs》 https://arxiv.org/pdf/2305.1431 阅读全文
posted @ 2024-10-31 18:33 tgltt 阅读(2412) 评论(0) 推荐(0)
LoRA原理
摘要： 图1描述了LoRA微调的原理，即在原模型的基础上，建立一个旁支模型，旁支模型由A和B两个小矩阵构成，且A@B的维度等于原模型的维度。 图1 LoRA原理 图1的LoRA原理，也可写成式2的等式，权重W的新状态W’，为图10左路WFP16与右路A FP16@B FP16乘积之和，其中W、A、B的上标F 阅读全文
posted @ 2024-10-31 18:14 tgltt 阅读(648) 评论(0) 推荐(0)
ChatGLM3-6B模型分析
摘要： ChatGLM3是清华、智谱2023年开源的一款大模型。ChatGLM3-6B模型代码，目前还在研读中，尚未全部读完。 图1为ChatGLM3-6B模型简图，其结构基于Transformer Encoder架构的Encoder，大体上与BERT架构类似。ChatGLM3实现模型架构时，已预置支持P- 阅读全文
posted @ 2024-10-31 18:04 tgltt 阅读(632) 评论(0) 推荐(0)
BERT模型分析
摘要： 在2018年Google提出Transformer框架后，2019年，BERT作为最早期的大模型，便应运而生，因为BERT有强大的自然语言理解能力，因此在其被提出后便风靡NLP领域。 研读BERT代码，是因为BERT作为大模型起源鼻祖，比GPT起源还早，弄明白其算法思想和其主体代码具体实现逻辑，有利 阅读全文
posted @ 2024-10-31 17:35 tgltt 阅读(284) 评论(0) 推荐(0)
Sora初探
摘要： Sora是OpenAI今年初推出的一款文生视频模型，相较于MidJourney这些传统AI绘图工具而言，Sora生成的视频时长更长，视频效果更逼真、更符合物理世界的客观规律。 Sora生成的视频可长达60s以上，较之前的文生视频模型只能生成2~3s视频而言，是个巨大的突破，从Sora官方公布的视频效 阅读全文
posted @ 2024-10-31 17:15 tgltt 阅读(265) 评论(0) 推荐(0)
多模态相关技术探讨
摘要： Stable Diffusion为实现文生图，引入了Conditioning模块，该模块用于接收图文等多种模态的数据，并将其编码为Embedding空间的向量，使得Stable Diffusion在训练和推理时，可以受到多模态数据设置的条件约束。Stable Diffusion中的Condition 阅读全文
posted @ 2024-10-31 16:44 tgltt 阅读(442) 评论(0) 推荐(0)
Stable Diffusion技术路线发展历程回顾
摘要： 图1描述了Stable Diffusion模型的发展历程，从最初的AE(Auto Encoder)，逐步发展到DDPM、VQVAE、LDM，并最终产生了Stable Diffusion。从技术路线上看，Stable Diffusion由2条技术路线汇聚而成，一条是路线1：AE -> VAE -> D 阅读全文
posted @ 2024-10-31 15:23 tgltt 阅读(1482) 评论(0) 推荐(0)