摘要： PyTorch基础 一、简介 PyTorch是由Meta（原 Facebook）人工智能团队开发的开源深度学习框架，主要用于构建和训练神经网络，支持动态计算图。自 2016 年发布以来迅速成为学术界和工业界的主流工具。 早期使用TensorFlow（由google团队开发），但逐步被PyTorch替 阅读全文

摘要： Batch Normalization（BN） 意义：意图解决内部协变量偏移问题，主要动态平滑优化 landscape 内部协变量偏移（Internal Covariate Shift, ICS）： 定义：在深度网络训练过程中，由于前层参数不断更新，导致后层的输入分布持续发生变化，导致优化路径曲折、 阅读全文