gradCAM
用Grad-CAM解释网络预测
语法
描述
scoreMap= gradCAM (网，X，reductionFcn）reductionFcn是一个函数句柄，它将简化层的输出激活简化为一个标量值。这个标量完成了分类任务的类评分的作用，并将Grad-CAM技术推广到非分类任务，如回归。
的gradCAM函数通过对约简层的约简输出相对于特征层中的特征进行微分来计算Grad-CAM映射。gradCAM在计算映射时自动选择要使用的约简和特征层。要指定这些层，请使用“ReductionLayer”而且“FeatureLayer”名称-值参数。
使用此语法计算非分类任务的Grad-CAM映射。
［还返回用于计算Grad-CAM映射的特征层和简化层的名称。将此语法与前面语法中的任何输入-参数组合一起使用。scoreMap，featureLayer，reductionLayer) = gradCAM (___）
例子
用于图像分类的Grad-CAM
使用gradCAM可视化图像的哪些部分对网络的分类决策是重要的。
导入预训练的网络SqueezeNet。
网= squeezenet;
导入图像并调整其大小以匹配网络的输入大小。
X = imread (“laika_grass.jpg”）;inputSize = net.Layers (1) .InputSize (1:2);X = imresize (X, inputSize);
显示图像。
imshow (X)
对图像进行分类，得到类标签。
标签=分类(净,X)
标签=分类玩具贵宾犬
使用gradCAM确定图像的哪些部分对分类结果是重要的。
scoreMap = gradCAM(净,X,标签);
在透明的原始图像上绘制结果，以查看图像的哪些区域对分类分数贡献最大。
图imshow (X)在显示亮度图像(scoreMap“AlphaData”, 0.5) colormap飞机
网络主要集中在狗的背部来做出分类决策。
图像回归的Grad-CAM
使用Grad-CAM可视化图像的哪些部分对图像回归网络的预测是最重要的。
加载预训练的网络digitsRegressionNet．该网络是一种预测手写体数字旋转角度的回归卷积神经网络。
负载digitsRegressionNet
查看网络层次。网络的输出层是一个回归层。
层=净。层
带有图层的图层数组:1' imageinput'图像输入28x28x1图像与'zerocenter'归一化2' conv_1'二维卷积8 3x3x1卷积与stride[1 1]和填充'same' 3 'batchnorm_1' Batch归一化批处理归一化8通道4 'relu_1' ReLU ReLU 5 'avgpool2d_1'二维平均归一化2x2平均归一化与stride[2 2]和填充[0 0 0 0]6 'conv_2'二维卷积16 3x3x8卷积与stride[1 1]和填充'same' 7 'batchnorm_2' Batch归一化批处理归一化与16channel8 'relu_2' ReLU ReLU 9 'avgpool2d_2' 2d Average Pooling 2x2 Average Pooling with stride[2 2]和padding [0 0 0 0] 10 'conv_3' 2d Convolution 32 3x3x16 convolutions with stride[1 1]和padding 'same' 11 'batchnorm_3' Batch Normalization Batch Normalization with 32 channels 12 'relu_3' ReLU ReLU 13 'conv_4' 2d Convolution 32 3x3x32 convolutions with stride[1 1]和padding 'same' 14 'batchnorm_4' Batch Normalization Batch Normalization with 32 channels 15 'relu_4' ReLU ReLU 16'dropout' dropout' 20% dropout' 17 'fc'全连接1全连接层18 'regressionoutput'回归输出均方误差响应' response '
加载测试图像。
[XTest ~,欧美]= digitTest4DArrayData;
在测试图像上评估网络的性能。
testIdx = 501;testDigit = XTest (:,:,:, testIdx);
使用预测预测旋转角度，并将预测旋转与真实旋转进行比较。
testDigit predRotation =预测(净)
predRotation =单26.5635
trueRotation =欧美(testIdx)
trueRotation = 29
对网络预测最重要的区域进行可视化处理gradCAM．选择ReLU层作为特征层，全连通层作为约简层。
featureLayer =“relu_4”；reductionLayer =“俱乐部”；
定义约简函数。约简函数必须将约简层的输出缩减为一个标量值。Grad-CAM映射显示图像不同部分对该标量的重要性。在这个回归问题中，网络预测了图像的旋转角度。因此，全连通层的输出已经是一个标量值，因此约简函数就是恒等函数。
reductionFcn = @ x (x);
计算Grad-CAM映射。
scoreMap = gradCAM(净、testDigit reductionFcn,.．.“ReductionLayer”reductionLayer,.．.“FeatureLayer”, featureLayer);
在测试图像上显示Grad-CAM映射。
斧子(1)=次要情节(1、2、1);imshow (testDigit)标题("真旋转= "+ trueRotation +'\newline Pred Rotation = '+圆(predRotation, 0)) colormap (ax (1),“灰色”) ax(2) = subplot(1,2,2);imshow (testDigit)在显示亮度图像(重新调节(scoreMap) colormap (ax (2),“喷气机”)标题(“Grad-CAM”)举行从
用于序列分类的Grad-CAM
使用gradCAM为了可视化序列的哪些部分对网络的分类决策是重要的。
加载预训练的网络JapaneseVowelsConvNet．该网络是一个经过预先训练的1- d卷积神经网络，根据[1]和[2]中描述的日语元音数据集进行训练。
负载JapaneseVowelsConvNet
查看网络架构。
网层
ans = 11x1带有图层的图层数组:1' sequenceinput' Sequence Input序列输入12维2' conv1d1 ' 1- d卷积32 3x12卷积stride 1和填充'因果' 3 'relu_1' ReLU ReLU 4 'layernorm_1'层归一化层归一化32通道5 'conv1d_2' 1- d卷积64 3x32卷积stride 1和填充'因果' 6 'relu_2' ReLU ReLU 7 'layernorm_2'层归一化层归一化64通道8 'globalavgpool1d' 1- d全局平均池1- d全局平均池9“俱乐部”Fully Connected 9 fully connected layer 10 'softmax' Softmax softmax 11 'classoutput' Classification Output crossentropyex with '1' and 8 other classes
加载测试数据。XTest包含维数为12且长度不同的序列的单元格数组。tt是标签“1”，“2”，…，“9”，分别对应9位说话者。
(XTest, tt) = japaneseVowelsTestData;
选择第一个时间序列观测。这个序列有19个时间步。
testSequence = XTest {1};testSize =大小(testSequence)
testSize =1×212日19
numFeatures = testSize (1);
在一个情节中想象第一个时间序列。每一行对应一个特征。
图绘制(testSequence”)标题(“训练观察1”)包含(“时间步”)传说(“特性”+字符串(1:numFeatures),“位置”，“northeastoutside”）
对试验观察结果进行分类。
testSequence标签=分类(净)
标签=分类1
使用gradCAM确定序列的哪些部分对分类结果重要。
地图= gradCAM(净、testSequence标签);
地图是一个1 × 19的向量，包含19个时间步中的每个时间步的重要性值。
绘制结果图，看看哪个时间步骤对分类评分贡献最大。
图subplot(2,1,1) plot(testSequence') xlabel(“时间步”) subplot(2,1,2) plot(map)“时间步”) ylabel (“Grad-CAM重要性”）
从Grad-CAM图可以看出，该网络正在关注后面的时间步骤来进行分类决策。
输入参数
输出参数
更多关于
提示
的
reductionFcn函数接收来自约简层的输出作为跟踪dlarray对象。函数必须将此输出缩减为一个标量dlarray,这gradCAM然后对特征层的激活进行微分。例如，计算网络softmax激活通道208的Grad-CAM映射，约简函数为@ (x) (x (208))．这个函数接收激活并提取第208个通道。的
gradCAM函数在计算Grad-CAM映射时自动选择要使用的约简和特征层。对于某些网络，所选择的层可能不合适。例如，如果您的网络有多个可以用作特征层的层，那么函数会选择其中的一个层，但它的选择可能不是最合适的。对于这种网络，请指定要使用的特性层“FeatureLayer”名称-值参数。要将Grad-CAM地图显示为灰度图像上的覆盖层，必须首先将地图缩放到[0,1]的范围内。例如,
scoreMapRescaled =重新调节(scoreMap);．
参考文献
[1]工藤，美一，富山俊，Shimbo Masaru。“利用穿过区域的多维曲线分类”。模式识别字母20,no。11-13(1999年11月):1103-11。https://doi.org/10.1016/s0167 - 8655 (99) 00077 - x。
UCI机器学习知识库:日语元音数据集。https://archive.ics.uci.edu/ml/datasets/Japanese +元音。
[3] Selvaraju, Ramprasaath R.， Michael Cogswell, Abhishek Das, Ramakrishna Vedantam, Devi Parikh和Dhruv Batra。“Grad-CAM:基于梯度定位的深度网络可视化解释。2017(2017年10月):618-626,https://doi.org/10.1109/ICCV.2017.74。
维诺格拉多娃，基拉，亚历山大·迪布罗夫和吉恩·迈尔斯。基于梯度加权类激活映射的可解释语义分割人工智能AAAI会议论文集34岁的没有。10(2020年4月):13943-13944,https://doi.org/10.1609/aaai.v34i10.7244。
版本历史
介绍了R2021a
您也可以从以下列表中选择网站: