主要内容

groupnorm

为每个观察独立地在分组的通道子集中规范化数据

在页面中全部折叠

    语法

    抵消,Y = groupnorm (X, numGroups scaleFactor)
    Y = groupnorm (X, numGroups抵消,scaleFactor DataFormat, FMT)
    Y = groupnorm (___名称、值)

    描述

    组归一化操作对每个观测的输入数据分别进行归一化处理。为了加快卷积神经网络的训练速度，降低网络初始化的敏感性，在卷积和非线性操作之间使用分组归一化线性整流函数（Rectified Linear Unit）．

    归一化之后，该操作将输入偏移一个可学习的偏移量β用一个可学习的比例因子进行缩放γ．

    的groupnorm函数将组归一化操作应用于dlarray数据。使用dlarray对象允许对维度进行标记，从而使处理高维数据更加容易。方法标识哪些维度对应于空间、时间、通道和批处理维度“S”，“T”，“C”,“B”标签,分别。对于未指定的和其他维度，请使用“U”标签。为dlarray对象函数对特定维度进行操作时，可以通过格式化dlarray对象直接调用，或使用DataFormat选择。

    请注意

    将组规范化应用于layerGraph对象或层数组,使用groupNormalizationLayer．

    例子

    Y= groupnorm (X，numGroups，抵消，scaleFactor）将组规范化操作应用于输入数据X使用指定数量的组，并使用指定的偏移量和比例因子对其进行转换。

    函数的分组子集归一化“C”(通道)维度和“年代”(空间),“T”(时间)“U”(不明)的尺寸X对于每一个观察“B”独立(批)维度。

    对于未格式化的输入数据，请使用“DataFormat”选择。

    例子

    Y= groupnorm (X，numGroups，抵消，scaleFactor、“DataFormat”FMT)将组规范化操作应用于未格式化的dlarray对象X格式由FMT．输出Y是一个非格式化dlarray的对象，其维度顺序与X．例如,“DataFormat”、“SSCB”指定有格式的二维图像输入数据“SSCB”(空间，空间，渠道，批处理)。

    例子

    Y= groupnorm (___名称,值）除以前语法中的输入参数外，还使用一个或多个名称-值参数指定选项。例如,‘ε’,3 e-5将方差偏移设置为3 e-5．

    例子

    全部折叠

    使用groupnorm跨通道组规范化输入数据。

    将输入数据创建为高度和宽度分别为4通道和6通道的随机值的单个观察值。

    身高= 4;宽度= 4;渠道= 6;观察= 1;X =兰德(高度、宽度、通道观测);X = dlarray (X,“SSCB”）;

    创建可学习的参数。

    抵消= 0(频道,1);scaleFactor = 1(频道,1);

    计算组归一化。将输入分为三组，每组两个通道。

    numGroups = 3;抵消,Y = groupnorm (X, numGroups scaleFactor);

    输入参数

    全部折叠

    输入数据，指定为格式化的dlarray,一个非格式化dlarray，或数字数组。

    如果X是一个非格式化dlarray或数值数组，则必须使用DataFormat选择。如果X是数字数组吗scaleFactor或抵消必须是一个dlarray对象。

    X必须有一个“C”(频道)维度。

    要经过规范化的通道组数，指定为正整数，所有渠道的,或“channel-wise”．

    numGroups 描述
    正整数 将传入通道划分为指定数量的组。指定的组数必须精确划分输入数据的通道数。
    所有渠道的 将所有传入通道分组到一个组中。输入数据是跨所有通道进行规范化的。这个操作也称为层规范化。另外,使用layernorm．
    “channel-wise” 将所有传入的通道视为单独的组。此操作也称为实例规范化。另外,使用instancenorm．

    数据类型:单|双|字符|字符串

    抵消β，指定为格式化的dlarray,一个非格式化dlarray类的大小匹配的非单例维度的数值数组“C”(通道)输入的尺寸X．

    如果抵消是一个格式化的dlarray对象，则非单例维度必须具有标签“C”(通道)。

    比例因子γ，指定为格式化的dlarray,一个非格式化dlarray类的大小匹配的非单例维度的数值数组“C”(通道)输入的尺寸X．

    如果scaleFactor是一个格式化的dlarray对象，则非单例维度必须具有标签“C”(通道)。

    名称-值参数

    指定可选参数对为Name1 = Value1,…,以=家,在那里的名字参数名称和价值对应的值。名-值参数必须出现在其他参数之后，但对的顺序并不重要。

    在R2021a之前，名称和值之间用逗号隔开，并括起来的名字在报价。

    例子:‘ε’,3 e-5将方差偏移设置为3 e-5．

    未格式化输入数据的维度顺序，指定为字符向量或字符串标量FMT它为数据的每个维度提供一个标签。

    的格式时dlarray对象，每个字符为数据的每个维度提供一个标签，并且必须是以下之一:

    • “S”——空间

    • “C”——频道

    • “B”-批处理(例如，样品和观察)

    • “T”-时间(例如，序列的时间步长)

    • “U”——未指明的

    您可以指定多个标记的维度“S”或“U”．你可以使用标签“C”，“B”,“T”最多一次。

    您必须指定DataFormat当输入数据没有格式化时dlarray．

    数据类型:字符|字符串

    用于防止被零除错误的方差偏移量，指定为逗号分隔的对，由‘ε’和一个大于或等于的数值标量1 e-5．

    数据类型:单|双

    输出参数

    全部折叠

    规范化数据，返回为dlarray．输出Y是否与输入具有相同的基础数据类型X．

    如果输入数据X是一个格式化的dlarray，Y有相同的尺寸标签X．如果输入数据没有格式化dlarray，Y是一个非格式化dlarray具有与输入数据相同的维度顺序。

    算法

    组规范化操作规范化元素x我通过先计算均值来计算输入μG和方差σG2在空间，时间和分组子集的通道尺寸为每个观测独立。然后，它计算归一化激活为

    x ＾ 我 ＝ x 我 − μ G σ G 2 + ε ，

    在哪里ϵ是一个常数，当方差非常小时，它可以提高数值的稳定性。为了考虑均值和单位方差为零的输入对于组归一化之后的操作不是最优的可能性，组归一化操作使用转换进一步转移和缩放激活

    y 我 ＝ γ x ＾ 我 + β ，

    的偏移量β和规模因素γ是在网络训练过程中更新的可学习参数。

    参考文献

    [1]吴宇欣和何开明。“组织正常化。”预印本提交2018年6月11日。https://arxiv.org/abs/1803.08494。

    扩展功能

    版本历史

    介绍了R2020b

    另请参阅

    ||||||||

    主题

    Baidu
    map