主要内容

groupedConvolution2dLayer

二维分组卷积层

描述

二维分组卷积层将输入通道分组,并应用滑动卷积滤波器。使用分组卷积层进行通道可分(也称为深度可分)卷积。

对于每一组,该层通过沿着输入的垂直和水平方向移动滤波器来卷积输入,并计算权值和输入的点积,然后添加一个偏差项。该层独立地组合每个组的卷积。如果组的数量等于通道的数量,那么该层执行通道方面的卷积。

创建

描述

例子

= groupedConvolution2dLayer (filterSizenumFiltersPerGroupnumGroups创建一个二维分组卷积层,并设置FilterSizeNumFiltersPerGroup,NumGroups属性。

例子

= groupedConvolution2dLayer (filterSizenumFiltersPerGroup, ' channel-wise ')为通道级卷积(也称为深度级卷积)创建一个层。在这种情况下,软件决定NumGroups训练时的财产。此语法等同于设置NumGroups输入通道的数量。

例子

= groupedConvolution2dLayer (___名称,值设置可选DilationFactor参数和初始化学习率和正规化,的名字使用名称-值对的属性。方法指定输入填充“填充”名称-值对的论点。例如,groupedConvolution2dLayer(5128 2“填充”,“相同”)创建一个2- d分组卷积层,有2组128个大小的过滤器5 [5]并将输入填充为,以便输出具有相同的大小。可以指定多个名称-值对。将每个属性名用单引号括起来。

输入参数

全部展开

名称-值参数

使用逗号分隔的名称-值对参数指定沿层输入的边缘添加的填充大小或设置DilationFactor参数和初始化学习率和正规化,的名字属性。名字用单引号括起来。

例子:groupedConvolution2dLayer(5128 2“填充”,“相同”)创建一个2- d分组卷积层,有2组128个大小的过滤器5 [5]并将输入填充为,以便输出具有相同的大小。

输入边填充,指定为逗号分隔的对,由“填充”其中一个价值观是:

  • “相同”-在训练或预测时添加软件计算的大小填充,使步幅为1时输出与输入大小相同。如果stride大于1,则输出大小为装天花板(inputSize /步),在那里inputSize是输入的高度还是宽度是对应维度中的步幅。如果可能的话,软件会在顶部和底部,以及左侧和右侧添加相同数量的填充。如果必须垂直添加的填充有一个奇数值,那么软件将在底部添加额外的填充。如果必须水平添加的填充有一个奇数值,那么软件将在右侧添加额外的填充。

  • 非负整数p-添加大小的填充p到输入的所有边。

  • 向量[b]的非负整数-添加大小填充一个到顶部和底部的输入和填充的大小b向左和向右。

  • 向量[t b l r]的非负整数-添加大小填充t前,b底部,l向左,然后r在输入的右边。

例子:“填充”,1在顶部和底部添加一行填充,在输入的左侧和右侧添加一列填充。

例子:“填充”,“相同”添加填充,以便输出与输入大小相同(如果stride等于1)。

属性

全部展开

分组卷积

过滤器的高度和宽度,指定为一个向量[w h]两个正整数的h是高度和w是宽度。FilterSize定义输入中神经元连接到的局部区域的大小。

在创建层时,您可以指定FilterSize作为一个标量,为高度和宽度使用相同的值。

例子:5 [5]指定高度为5,宽度为5的过滤器。

每个组的过滤器数量,指定为正整数。此属性决定了层输出中的通道数量。输出通道数为FiltersPerGroup * NumGroups

例子:10

组数,指定为正整数或“channel-wise”

如果NumGroups“channel-wise”,然后软件创建一个层用于通道级卷积(也称为深度级卷积)。在这种情况下,层决定NumGroups训练时的财产。该值相当于settingNumGroups输入通道的数量。

组数必须与层输入的通道数相等。

例子:2

垂直和水平遍历输入的步长,指定为向量[b]两个正整数的一个竖直步长和b是水平步长。在创建层时,您可以指定作为一个标量,对两个步长使用相同的值。

例子:3 [2]指定垂直步长为2,水平步长为3。

放大卷积(也称为阿特鲁卷积)的因子,表示为一个向量[w h]两个正整数的h竖直扩张和w是水平膨胀。在创建层时,您可以指定DilationFactor作为标量,对水平和垂直膨胀使用相同的值。

使用扩展卷积来增加层的接收域(层可以看到的输入区域),而不增加参数或计算的数量。

该层通过在每个过滤器元素之间插入零来扩展过滤器。膨胀因子决定了对输入采样的步长,或相当于滤波器的上采样因子。它对应的有效过滤器大小为(过滤器的大小- 1) *膨胀系数+ 1。例如,带有膨胀因子的3 × 3滤波器(2 - 2)等价于一个元素之间为零的5 × 5过滤器。

例子:3 [2]

应用于输入边框的填充大小,指定为向量[t b l r]四个非负整数的t是填充到顶部,b是填充到底部,l填充是应用到左边,和r是应用到右侧的填充。

创建图层时,使用“填充”参数指定填充大小。

例子:[1 1 2 2]在顶部和底部添加一行填充,在输入的左侧和右侧添加两列填充。

方法来确定填充大小,指定为“手动”“相同”

软件会自动设置PaddingMode基于“填充”创建层时指定的值。

  • 如果你设置“填充”选项设置为标量或非负整数的向量,然后软件自动设置PaddingMode“手动”

  • 如果你设置“填充”选项“相同”,然后软件自动设置PaddingMode“相同”并在训练时计算填充的大小,以便当步幅为1时输出与输入的大小相同。如果stride大于1,则输出大小为装天花板(inputSize /步),在那里inputSize是输入的高度还是宽度是对应维度中的步幅。如果可能的话,软件会在顶部和底部,以及左侧和右侧添加相同数量的填充。如果必须垂直添加的填充有一个奇数值,那么软件将在底部添加额外的填充。如果必须水平添加的填充有一个奇数值,那么软件将在右侧添加额外的填充。

值填充数据,指定为以下之一:

PaddingValue 描述 例子
标量 填充指定的标量值。

3. 1 4 1 5 9 2 6 5 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 3. 1 4 0 0 0 0 1 5 9 0 0 0 0 2 6 5 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0

“symmetric-include-edge” 使用输入的镜像值(包括边值)进行填充。

3. 1 4 1 5 9 2 6 5 5 1 1 5 9 9 5 1 3. 3. 1 4 4 1 1 3. 3. 1 4 4 1 5 1 1 5 9 9 5 6 2 2 6 5 5 6 6 2 2 6 5 5 6 5 1 1 5 9 9 5

“symmetric-exclude-edge” 使用输入的镜像值(不包括边值)进行填充。

3. 1 4 1 5 9 2 6 5 5 6 2 6 5 6 2 9 5 1 5 9 5 1 4 1 3. 1 4 1 3. 9 5 1 5 9 5 1 5 6 2 6 5 6 2 9 5 1 5 9 5 1 4 1 3. 1 4 1 3.

“复制” 使用输入的重复边框元素填充

3. 1 4 1 5 9 2 6 5 3. 3. 3. 1 4 4 4 3. 3. 3. 1 4 4 4 3. 3. 3. 1 4 4 4 1 1 1 5 9 9 9 2 2 2 6 5 5 5 2 2 2 6 5 5 5 2 2 2 6 5 5 5

数据类型:||int8|int16|int32|int64|uint8|uint16|uint32|uint64|字符|字符串

每个组的通道数,指定为“汽车”或者一个正整数。每组的通道数等于输入通道数除以组数。

软件在训练时自动设置此属性。

例子:256

参数和初始化

函数初始化权重,指定为以下之一:

  • “glorot”-使用gloot初始化器初始化权重[1](也称为Xavier初始化器)。gloria初始化器从均值和方差为零的均匀分布中独立采样2 / (numIn + numOut),在那里numIn = FilterSize (1) * FilterSize (2) * NumChannelsPerGroup而且numOut = FilterSize (1) * FilterSize (2) * NumFiltersPerGroup

  • “他”-使用He初始化器初始化权重[2].He初始化器样本来自均值和方差为零的正态分布2 / numIn,在那里numIn = FilterSize (1) * FilterSize (2) * NumChannelsPerGroup

  • “narrow-normal”-通过从均值为零、标准差为0.01的正态分布中独立抽样初始化权重。

  • “零”-用0初始化权值。

  • “的”-用1初始化权重。

  • 函数句柄——使用自定义函数初始化权重。如果指定了函数句柄,则该函数必须具有以下形式重量= func(深圳),在那里深圳是重量的大小。示例请参见指定自定义权重初始化函数

时,该层才初始化权重权重属性是空的。

数据类型:字符|字符串|function_handle

函数初始化偏移量,指定为以下之一:

  • “零”-初始偏差为零。

  • “的”-初始偏差为1。

  • “narrow-normal”-通过从均值为零、标准差为0.01的正态分布中独立采样来初始化偏差。

  • 函数句柄——使用自定义函数初始化偏置。如果指定了函数句柄,则该函数必须具有以下形式偏见= func(深圳),在那里深圳是偏差的大小。

该层仅在偏见属性是空的。

数据类型:字符|字符串|function_handle

该层的层权重,指定为数值数组。

层权值是可学习的参数。方法可以直接指定权重的初始值权重层的属性。当你训练一个网络时,如果权重属性为非空,则trainNetwork使用权重属性作为初始值。如果权重那么,财产是空的trainNetwork类指定的初始化式WeightsInitializer层的属性。

在培训时,权重是一个FilterSize (1)——- - - - - -FilterSize (2)——- - - - - -NumChannelsPerGroup——- - - - - -NumFiltersPerGroup——- - - - - -NumGroups数组,NumInputChannels是层输入的通道数。

数据类型:|

层的层偏差,指定为数值数组。

层偏差是可学习的参数。当你训练一个网络时,如果偏见非空的,那么trainNetwork使用偏见属性作为初始值。如果偏见是空的,然后trainNetwork使用指定的初始化式BiasInitializer

在培训时,偏见是一个1-by-1-by——NumFiltersPerGroup——- - - - - -NumGroups数组中。

数据类型:|

学习率和正规化

权重的学习率因子,指定为非负标量。

软件将该因子乘以全局学习率,以确定该层中权重的学习率。例如,如果WeightLearnRateFactor2,则该层权值的学习率为当前全局学习率的两倍。该软件根据您使用的设置确定全局学习率trainingOptions函数。

数据类型:||int8|int16|int32|int64|uint8|uint16|uint32|uint64

偏差的学习率因子,指定为非负标量。

软件将该因子乘以全局学习率,以确定该层中偏差的学习率。例如,如果BiasLearnRateFactor2,则该层中偏差的学习率为当前全局学习率的两倍。该软件根据您使用的设置确定全局学习率trainingOptions函数。

数据类型:||int8|int16|int32|int64|uint8|uint16|uint32|uint64

l2权值的正则化因子,指定为非负标量。

软件将这个因子乘以全局变量l2正则化因子的确定l2正则化这一层的权重。例如,如果WeightL2Factor2,那么l2这一层权值的正则化是全局权值的两倍l2正则化因子。您可以指定全局l2正则化因子使用trainingOptions函数。

数据类型:||int8|int16|int32|int64|uint8|uint16|uint32|uint64

l2偏差的正则化因子,指定为非负标量。

软件将这个因子乘以全局变量l2正则化因子的确定l2这一层的偏差的正则化。例如,如果BiasL2Factor2,那么l2这一层偏差的正则化是全局偏差的两倍l2正则化因子。您可以指定全局l2正则化因子使用trainingOptions函数。

数据类型:||int8|int16|int32|int64|uint8|uint16|uint32|uint64

层名,指定为字符向量或字符串标量。为数组输入,trainNetworkassembleNetworklayerGraph,dlnetwork函数自动为具有此名称的层分配名称''

数据类型:字符|字符串

此属性是只读的。

层的输入数。该层只接受单个输入。

数据类型:

此属性是只读的。

输入图层名称。该层只接受单个输入。

数据类型:细胞

此属性是只读的。

层的输出数量。这个层只有一个输出。

数据类型:

此属性是只读的。

输出层的名称。这个层只有一个输出。

数据类型:细胞

例子

全部折叠

创建一个分组卷积层,有3组10个过滤器,每组的高度和宽度为11,以及名称“gconv1”

3层= groupedConvolution2dLayer(11日,10日,“名字”“gconv1”
layer = GroupedConvolution2DLayer with properties: Name: 'gconv1' Hyperparameters FilterSize: [11 11] NumGroups: 3 NumChannelsPerGroup: 'auto' NumFiltersPerGroup: 10 Stride: [11] DilationFactor: [11] PaddingMode: 'manual' PaddingSize: [0 0 0 0] PaddingValue: 0 Learnable Parameters Weights: [] Bias:[]显示所有属性

创建一个通道级卷积(也称为深度级卷积)层,一组10个过滤器,每个过滤器的高度和宽度为11,以及名称“cwconv1”

10层= groupedConvolution2dLayer(11日,“channel-wise”“名字”“cwconv1”
layer = GroupedConvolution2DLayer with properties: Name: 'cwconv1' Hyperparameters FilterSize: [11 11] NumGroups: 'channel-wise' NumChannelsPerGroup: 'auto' NumFiltersPerGroup: 10 Stride: [11] DilationFactor: [11] PaddingMode: 'manual' PaddingSize: [0 0 0 0] PaddingValue: 0 Learnable Parameters Weights: [] Bias:[]显示所有属性

典型的卷积神经网络包含卷积块、批归一化和ReLU层。例如,

filterSize = 3;numFilters = 16;convLayers = [convolution2dLayer(filterSize,numFilters,“步”2,“填充”“相同”) batchNormalizationLayer reluLayer];

对于通道可分卷积(又称深度可分卷积),将卷积块替换为通道可分卷积块和点可分卷积块。

指定通道级卷积中的滤波器大小和步幅,以及点级卷积中的滤波器数量。对于通道级卷积,每组指定一个滤波器。对于点向卷积,指定大小为1英寸的滤波器convolution2dLayer

cwsConvLayers = [groupedConvolution2dLayer(filterSize,1,“channel-wise”“步”2,“填充”“相同”(1,numFilters,“填充”“相同”) batchNormalizationLayer reluLayer];

为通道可分离卷积创建一个包含层的网络。

layers = [imageInputLayer([227 227 227 3]) convolution2dLayer(3,32,“填充”“相同”groupedConvolution2dLayer(3,1,“channel-wise”“步”2,“填充”“相同”) reluLayer卷积2dlayer (1,16,“填充”“相同”maxPooling2dLayer(2,“步”2) fullyConnectedLayer(5) softmaxLayer classificationLayer];

参考文献

格洛罗,泽维尔和约舒亚·本吉奥。《理解训练深度前馈神经网络的困难》在第十三届人工智能与统计学国际会议论文集, 249 - 356。撒丁岛,意大利:AISTATS, 2010。

何凯明,张翔宇,任少卿,孙健。深入研究整流器:在ImageNet分类上超越人类水平的性能。在2015年IEEE计算机视觉国际会议论文集, 1026 - 1034。华盛顿:IEEE计算机视觉学会,2015。

扩展功能

版本历史

介绍了R2019a

Baidu
map