相关原理介绍

---

本文档介绍 ROM Builder 工具箱内部相关算法原理，包括数据预处理、神经网络训练算法、激活函数、损失函数、优化器、归一化方案、统计检验方法等核心内容。用户可通过阅读本章节深入了解工具箱的技术原理。

数据预处理

数据预处理 介绍数据预处理的各种方法，包括积分、微分、绝对值、倒数、相反数、数据平移、缩放、均值平滑、符号函数、加减乘除、自定义等操作的原理、效果和适用场景。

神经网络训练算法

神经网络训练算法 介绍模型训练算法，包括前馈神经网络、长短时记忆神经网络、响应面模型等，详细说明各算法的适用场景、网络结构和工作原理。

激活函数

激活函数 介绍 Sigmoid、Relu、Tanh、Leaky Relu、Selu、Softplus、Relu6、Elu、Celu、RRelu、Gelu、Hardshrink、Softsign、Softmin、Softmax、Log Softmax、Hard Sigmoid、SiLU、Mish、Hard Swish 等多种激活函数的数学表达式、特性及适用场景。

损失函数

损失函数 介绍 L1Loss、PoissonNLLLoss、GaussianNLLLoss、KLDivLoss、MSELoss、BCEWithLogitsLoss、HingeEmbeddingLoss、Smooth L1Loss、Huber Loss、MultiLabelSoftMarginLoss 等损失函数的计算公式和应用场景。

优化器

优化器 介绍 SGD、ASGD、SGDM、NAG、RMSprop、AdaDelta、Adam、Adamax、NAdam、AdamW、SparseAdam、RAdam、Rprop 等优化算法的工作原理和适用场景。

归一化方案

归一化方案 介绍最大最小化归一化、标准差归一化、对数归一化、反正切函数归一化等方法的计算公式、优缺点及适用场景。

统计检验方法

统计检验方法 介绍模型训练完成后的统计检验方法，包括平均相对误差、均方误差、决定系数、保真度指数等指标的计算思路、检验粒度和适用场景，帮助用户从整体工况、单个工况和单个变量等不同层次评估 ROM 模型的预测精度。