emanlee - 博客园

2023年5月15日

摘要： BERT的创新在于Transformer Decoder（包含Masked Multi-Head Attention）作为提取器，并使用与之配套的掩码训练方法。虽然使用了双编码使得BERT不具有文本生成能力，但BERT在对输入文本的编码过程中，利用了每个词的所有上下文信息，与只能使用前序信息提取语义阅读全文

posted @ 2023-05-15 19:51 emanlee 阅读(188) 评论(0) 推荐(0)

2023年5月14日

图解BERT模型：从零开始构建BERT

摘要：图解BERT模型：从零开始构建BERT 发布于 2019-01-30 16:22:35 转自： https://cloud.tencent.com/developer/article/1389555 前导知识：词的向量表示， Transformer 本文首先介绍BERT模型要做什么，即：模型的输入、阅读全文

posted @ 2023-05-14 22:35 emanlee 阅读(237) 评论(0) 推荐(0)

2023年5月9日

IBM Power 740 7 单用户引导模式

摘要： 2、单用户引导模式在 AIX 上要进入单用户引导模式，只需把钥匙拨到维护(SERVICE)位置，然后系统上电即可。系统首先显示的是诊断操作指令(Diagnostic Operating Instructions)的屏幕。在这幅屏幕按回车进入功能选择(Function Selection)菜单。类阅读全文

posted @ 2023-05-09 23:15 emanlee 阅读(384) 评论(0) 推荐(0)

IBM Power 740 面板操作查看IP地址

摘要：转载：https://blog.csdn.net/weixin_44654338/article/details/127444877 通过进入Power小机液晶控制面板上的功能30, 就能读出HMC端口的IP地址。具体步骤如下： a. 为服务器接通电源，直到控制面板上的显示不再变化，且电源指示灯缓阅读全文

posted @ 2023-05-09 23:15 emanlee 阅读(338) 评论(0) 推荐(0)

Transformer 模型中的positional encoding(位置编码)计算理解(2)

摘要：以下（以上）内容来自(参考): https://www.bilibili.com/video/BV1Di4y1c7Zm?p=2&vd_source=6292df769fba3b00eb2ff1859b99d79e import numpy as np def getPositionEncoding( 阅读全文

posted @ 2023-05-09 22:25 emanlee 阅读(140) 评论(0) 推荐(0)

IBM Power 740 内存缺失问题

摘要：转自：http://blog.chinaunix.net/uid-22759617-id-3456302.html IBM P5小型机内存缺失问题处理方法总结 p55A机器有2G的内存无法检测出来。机器型号：9133－55A<1>联系前方找一根网线，一头连接55A小型机后端的HMC1口，一头连接电脑阅读全文

posted @ 2023-05-09 08:30 emanlee 阅读(98) 评论(0) 推荐(0)

2023年5月8日

ibm power 内存条顺序 P740 P720 740

摘要： https://www.renrendoc.com/paper/175507929.html 阅读全文

posted @ 2023-05-08 20:18 emanlee 阅读(116) 评论(0) 推荐(0)

2023年5月6日

注意力机制模型（类型，分类）

摘要：「注意力机制」更像是一种方法论。没有严格的数学定义，而是根据具体任务目标，对关注的方向和加权模型进行调整。简单的理解就是，在神经网络的隐藏层，增加「注意力机制」的加权，使不符合注意力模型的内容弱化或者遗忘。从Attention的作用角度出发，我们就可以从两个角度来分类Attention种类：Sp 阅读全文

posted @ 2023-05-06 14:40 emanlee 阅读(553) 评论(0) 推荐(0)

2023年5月4日

jupyter notebook 保存内存对象

摘要： jupyter notebook 保存内存对象 %store foo >>a.txt I think Dill answers your question well. pip install dill Save a Notebook session: import dill dill.dump_se 阅读全文

posted @ 2023-05-04 00:12 emanlee 阅读(65) 评论(0) 推荐(0)

jupyter notebook 运行结束声音提醒

摘要： jupyter notebook 运行结束声音提醒 from IPython.display import Audio, display display(Audio(url='https://www.feffery.club/success.mp3', autoplay=True)) from IP 阅读全文

posted @ 2023-05-04 00:09 emanlee 阅读(173) 评论(0) 推荐(0)