rougeEvaluationScore

用ROUGE相似度评分评估翻译或摘要

折叠所有页面

语法

分数= rougeEvaluationScore(候选人，推荐信)

rougeEvaluationScore(候选，引用，名称，值)

描述

基于回忆的吉斯汀评估候补研究(ROUGE)评分算法评估候选文档和参考文档集合之间的相似性。使用ROUGE评分来评估文档翻译和摘要模型的质量。

分数= rougeEvaluationScore (<一个href="#function_rougeEvaluationScore_sep_mw_32643ba4-f701-4738-9fdc-6b1deea7ad02" class="intrnllnk">候选人，<一个href="#function_rougeEvaluationScore_sep_mw_67869154-7ea6-48fb-b27d-2dd01b3a9f16" class="intrnllnk">参考文献）返回指定的候选文档和参考文档之间的ROUGE分数。默认情况下，该函数计算之间的字母重叠候选人和参考文献。这也被称为n克长度为1的ROUGE-N度规。有关更多信息，请参见<一个href="//www.ru-cchi.com/help/textanalytics/ref/rougeevaluationscore.html" class="intrnllnk">胭脂得分。

例子

全部折叠

计算相似度

打开实时脚本

将候选文档指定为tokenizedDocument对象。

str =<年代pan style="color:#A020F0">“敏捷的棕色狐狸跳过了懒惰的狗。”;candidate = tokenizedDocument(str)

9个代币:敏捷的棕色狐狸跳过了懒惰的狗

指定引用文档为tokenizedDocument数组中。

STR = [<年代pan style="color:#A020F0">“敏捷的棕色动物跳过了懒狗”敏捷的棕色狐狸跳过了懒惰的狗。];references = tokenizedDocument(str)

9代币:敏捷的棕色动物跳过了懒惰的狗9代币:敏捷的棕色狐狸跳过了懒惰的狗

计算候选文档和参考文档之间的ROUGE分数。

分数= rougeEvaluationScore(候选人，推荐信)

得分= 0.8889

指定N-Gram长度

打开实时脚本

将候选文档指定为tokenizedDocument对象。

str =<年代pan style="color:#A020F0">一份包含一些单词的简单摘要文件。;candidate = tokenizedDocument(str)

candidate = tokenizedDocument: 7个token:一个包含一些单词的简单摘要文档

指定引用文档为tokenizedDocument数组中。

STR = [<年代pan style="color:#A020F0">“一份简单的文件”“另一份有一些文字的文件”];references = tokenizedDocument(str)

references = 2x1 tokenizedDocument: 3个标记:一个简单的文档。5个标记:另一个包含一些单词的文档

使用默认选项计算候选文档和参考文档之间的ROUGE分数。

分数= rougeEvaluationScore(候选人，推荐信)

分数= 1

的rougeEvaluationScore函数在默认情况下比较候选文档和引用文档之间的单标记重叠。由于ROUGE分数是基于回忆的度量，如果其中一个参考文档完全由出现在候选文档中的字母组成，则得到的ROUGE分数为1。类的输出rougeEvaluationScore函数是没有信息的。

为获得更有意义的结果，请通过设置“NgramLength”选项2。结果分数小于1，因为每个参考文档都包含不出现在候选文档中的bigrams。

评分= rougeEvaluationScore(候选人，参考资料，<年代pan style="color:#A020F0">“NgramLength”, 2)

得分= 0.5000

输入参数

全部折叠

`候选人`- - - - - -<年代pan itemprop="purpose">候选人文档
`tokenizedDocument`标量|<年代pan itemprop="inputvalue">字符串数组|<年代pan itemprop="inputvalue">字符向量的单元格数组

候选文档，指定为tokenizedDocument标量、字符串数组或字符向量的单元格数组。如果候选人不是tokenizedDocument标量，则它必须是表示单个文档的行向量，其中每个元素都是一个单词。

`参考文献`- - - - - -<年代pan itemprop="purpose">参考文档
`tokenizedDocument`数组|<年代pan itemprop="inputvalue">字符串数组|<年代pan itemprop="inputvalue">字符向量的单元格数组

参考文件，指定为atokenizedDocument数组、字符串数组或字符向量的单元格数组。如果参考文献不是tokenizedDocument数组，则它必须是表示单个文档的行向量，其中每个元素都是一个单词。若要对多个参考文档进行评估，请使用tokenizedDocument数组中。

名称-值参数

指定可选参数对为Name1 = Value1,…,以=家,在那里名字参数名称和价值对应的值。名称-值参数必须出现在其他参数之后，但对的顺序无关紧要。

在R2021a之前，使用逗号分隔每个名称和值，并将其括起来名字在报价。

例子:scores = rougeEvaluationScore(候选，引用，'ROUGEMethod'，'加权子序列')指定使用加权子序列ROUGE方法。

`ROUGEMethod`- - - - - -<年代pan itemprop="purpose">胭脂方法
`“字格”`(默认)|<年代pan itemprop="inputvalue">`“longest-common-subsequences”`|<年代pan itemprop="inputvalue">`“weighted-subsequences”`|<年代pan itemprop="inputvalue">`“skip-bigrams”`|<年代pan itemprop="inputvalue">`“skip-bigrams-and-unigrams”`

ROUGE方法，指定为由逗号分隔的对组成“ROUGEMethod”和以下其中之一:

“字格”-使用候选文档和参考文档之间的n-gram重叠来评估ROUGE评分。这也被称为ROUGE-N度量。
“longest-common-subsequences”—使用LCS (long Common LCS)统计信息评估ROUGE评分。这也被称为ROUGE-L度量。
“weighted-subsequences”-使用加权最长公共子序列统计来评估ROUGE评分。这种方法有利于连续的lcs。这也被称为ROUGE-W度量。
“skip-bigrams”-使用skip-bigram(句子顺序中的任意一对单词)共现统计来评估ROUGE得分。这也被称为ROUGE-S度量。
“skip-bigrams-and-unigrams”-使用跳级-双字符和单字符共现统计来评估ROUGE评分。这也被称为ROUGE-SU度规。

`NgramLength`- - - - - -<年代pan itemprop="purpose">n元长度
1(默认)|<年代pan itemprop="inputvalue">正整数

n克长度用于“字格”ROUGE方法(ROUGE- n)，指定为由逗号分隔的对组成“NgramLength”一个正整数。

如果“ROUGEMethod”选项不是“字格”，则“NgramLength”期权没有作用。

提示

如果是最长的文档<一个href="#function_rougeEvaluationScore_sep_mw_67869154-7ea6-48fb-b27d-2dd01b3a9f16" class="intrnllnk">参考文献小于NgramLength，则得到的ROUGE分数为南。如果<一个href="#function_rougeEvaluationScore_sep_mw_32643ba4-f701-4738-9fdc-6b1deea7ad02" class="intrnllnk">候选人小于NgramLength单词，则得到的ROUGE分数为零。为了确保rougeEvaluationScore为非常短的文档返回非零分NgramLength的长度小于的正整数候选人和最长文档的长度参考文献。

数据类型:单|双|int8|int16|int32|int64|uint8|uint16|uint32|uint64

`SkipDistance`- - - - - -<年代pan itemprop="purpose">跳跃距离
4(默认)|<年代pan itemprop="inputvalue">正整数

的跳过距离“skip-bigrams”和“skip-bigrams-and-unigrams”ROUGE方法(ROUGE- s和ROUGE- su)，指定为逗号分隔的对，由“SkipDistance”一个正整数。

如果“ROUGEMethod”选项不是“skip-bigrams”或“skip-bigrams-and-unigrams”，则“SkipDistance”期权没有作用。

数据类型:单|双|int8|int16|int32|int64|uint8|uint16|uint32|uint64

输出参数

全部折叠

`分数`- ROUGE评分
标量

ROUGE分数，作为范围[0,1]或南。

ROUGE分数接近于零表示之间的相似性较差<一个href="#function_rougeEvaluationScore_sep_mw_32643ba4-f701-4738-9fdc-6b1deea7ad02" class="intrnllnk">候选人和<一个href="#function_rougeEvaluationScore_sep_mw_67869154-7ea6-48fb-b27d-2dd01b3a9f16" class="intrnllnk">参考文献。ROUGE得分接近1表示两者之间有很强的相似性候选人和参考文献。如果候选人和其中一份参考文件是一样的吗分数是1。如果候选人和参考文献都是空文档，那么得到的ROUGE分数是南。

提示

如果是最长的文档参考文献小于NgramLength，则得到的ROUGE分数为南。如果候选人小于NgramLength单词，则得到的ROUGE分数为零。为了确保rougeEvaluationScore为非常短的文档返回非零分NgramLength的长度小于的正整数候选人和最长文档的长度参考文献。

算法

全部折叠

胭脂得分

基于回忆的吉斯汀评价(ROUGE)替补评分算法<一个href="//www.ru-cchi.com/help/textanalytics/ref/rougeevaluationscore.html" class="intrnllnk">[1]计算候选文档与参考文档集合之间的相似度。使用ROUGE评分来评估文档翻译和摘要模型的质量。

N-gram共现统计量

给定n克的长度n的ROUGE-N度量<年代pan class="emphasis">单参考文件由

${ROUGE-N}_{单} (候选人,参考）＝ \frac{\sum_{r_{我} \in 参考} \sum_{语法 \in r_{我}} 数（语法,候选人）}{\sum_{r_{我} \in 参考} numNgrams （ r_{我} ）} ，$

元素在哪里r<年代ub>我参考文件中的句子，<年代pan class="inlineequation"> $数（语法，候选人）$ 指定的n-gram在候选文档中出现的次数和numNgrams(右<年代ub>我）在指定的参考句中n-grams的数量是多少r<年代ub>我。

对于多个参考文档的集合，ROUGE-N度量由

$ROUGE-N(候选，参考)= m 一个 x_{k} {{ROUGE-N}_{单} （ {候选人,引用}_{k} ）} 。$

若要使用ROUGE-N度量，请设置“ROUGEMethod”选项“字格”。

最长公共子序列(ROUGE-L)

给定一个句子<年代pan class="inlineequation"> $d ＝［ w_{1} ， \dots ， w_{米}]$ 还有一个句子年代，其中元素年代<年代ub>我对应词，子序列<年代pan class="inlineequation"> $［ w_{我_{1}} ， \dots ， w_{我_{k}}]$ 是一个<年代pan class="emphasis">公共子序列的d和年代如果<年代pan class="inlineequation"> $w_{我_{j}^{”}} \in {{年代}_{1} ， \dots ， {年代}_{n}}$ 为<年代pan class="inlineequation"> $j ＝ 1 ， \dots ， k$ 和<年代pan class="inlineequation"> $我_{1} < \dots < 我_{k}$ 的元素年代句子中的单词和k是子序列的长度。的子序列<年代pan class="inlineequation"> $［ w_{我_{1}} ， \dots ， w_{我_{k}}]$ 如果子序列长度k是最大的。

给定一个候选文件和一个单一的参考文件<年代pan class="emphasis">联盟最长公共子序列的

$l C {年代}_{\cup} （候选人，参考）＝ \underset{r_{我} \in 参考}{\cup} {w | w \in LCS （候选人， r_{我} ）} ，$

在哪里<年代pan class="inlineequation"> $LCS （候选人， r_{我} ）$ 候选文档和句子中是否包含最长公共子序列集r<年代ub>我来自参考文档。

ROUGE-L度量标准是一个f分数度量标准。要计算它，首先计算由给出的召回率和精度分数

$R_{lcs} （候选人，参考）＝ \frac{\sum_{r_{我} \in 参考} | {LCS}_{\cup} （ {候选人,r}_{我} ） |}{numWords （参考）}$

$P_{lcs} （候选人，参考）＝ \frac{\sum_{r_{我} \in 参考} | {LCS}_{\cup} （ {候选人,r}_{我} ） |}{numWords （候选人）} 。$

然后，候选文档和<年代pan class="emphasis">单参考文档由F-score测量给出

${ROUGE-L}_{单} （候选人，参考）＝ \frac{（ 1 + β^{2} ） R_{lcs} （候选人，参考） P_{lcs} （候选人，参考）}{R_{lcs} （候选人，参考） + β^{2} P_{lcs} （候选人，参考）} ，$

其中参数<年代pan class="inlineequation"> $β$ 控制精度和召回率的相对重要性。因为ROUGE评分有利于回忆，<年代pan class="inlineequation"> $β$ 通常设置为较高的值。

对于多个参考文档的集合，ROUGE-L度量由

$ROUGE-L(候选，参考)= m 一个 x_{k} {{ROUGE-L}_{单} （ {候选人,引用}_{k} ）} 。$

要使用ROUGE-L度量，请设置“ROUGEMethod”选项“longest-common-subsequences”。

加权最长公共子序列

给定一个加权函数f这样f拥有财产f (x + y) > f (x) + f (y)对于任何正整数x和y,定义<年代pan class="inlineequation"> $WLCS （候选人，参考）$ 为在候选文档中遇到的最长连续匹配的长度，由加权函数打分的单个参考文档f。有关计算此值的详细信息，请参见<一个href="//www.ru-cchi.com/help/textanalytics/ref/rougeevaluationscore.html" class="intrnllnk">[1]。

ROUGE-W是一个给定f分数的度量，它需要召回率和精度分数

$R_{wlcs} （候选人，参考）＝ f^{- 1} （ \frac{WLCS （候选人，参考）}{f （ numWords （参考）} ）$

$P_{wlcs} （候选人，参考）＝ f^{- 1} （ \frac{WLCS （候选人，参考）}{f （ numWords （候选人））} ）。$

候选文档和<年代pan class="emphasis">单参考文档由F-score测量给出

${ROUGE-W}_{单} （候选人，参考）＝ \frac{（ 1 + β^{2} ） R_{wlcs} （候选人，参考） P_{wlcs} （候选人，参考）}{R_{wlcs} （候选人，参考） + β^{2} P_{wlcs} （候选人，参考）} ，$

对于多个参考文档，ROUGE-W度量由

$ROUGE-W(候选，参考)= m 一个 x_{k} {{ROUGE-W}_{单} （ {候选人,引用}_{k} ）} 。$

要使用ROUGE-W度量，请设置“ROUGEMethod”选项“weighted-longest-common-subsequences”。

Skip-Bigram共现统计(ROUGE-S)

一个<年代pan class="emphasis">skip-bigram是句子中有顺序的一对词，允许它们之间有任意的间隙。也就是说，给定一个句子<年代pan class="inlineequation"> $c_{我} ＝［ c_{我 1} ， \dots ， c_{我米}]$ 从一个候选文档，其中的元素c<年代ub>ij对应句子中的单词，成对的单词<年代pan class="inlineequation"> $［ c_{我 j_{1}^{”}} ， c_{我 j_{2}^{”}}]$ 是一个<年代pan class="emphasis">skip-bigram如果<年代pan class="inlineequation"> $j_{1}^{”} < j_{2}^{”}$ 。

ROUGE-S指标是一个F-score指标。要计算它，首先计算由给出的召回率和精度分数

$R_{skip2} （候选人，参考）＝ \frac{\sum_{r_{我} \in 参考} \sum_{skip-bigram \in r_{我}} 数（ skip-bigram ，候选人）}{\sum_{r_{我} \in 参考} numSkipBigrams （ r_{我} ）}$

$P_{skip2} （候选人，参考）＝ \frac{\sum_{r_{我} \in 参考} \sum_{skip-bigram \in r_{我}} 数（ skip-bigram ，候选人）}{\sum_{c_{我} \in 候选人} numSkipBigrams （ c_{我} ）} 。$

元素在哪里r<年代ub>我和c<年代ub>我分别为参考文件和候选文件中的句子，<年代pan class="inlineequation"> $数（ skip-bigram ，候选人）$ 指定的skip-bigram在候选文档中出现的次数和numSkipBigrams (s)句子中跳过重音的个数是多少年代。

然后，候选文档和<年代pan class="emphasis">单参考文档由F-score测量给出

${ROUGE-S}_{单} （候选人，参考）＝ \frac{（ 1 + β^{2} ） R_{skip2} （候选人，参考） P_{skip2} （候选人，参考）}{R_{skip2} （候选人，参考） + β^{2} P_{skip2} （候选人，参考）} ，$

对于多个参考文档的集合，ROUGE-S度量由

$ROUGE-S(候选，参考)= m 一个 x_{k} {{ROUGE-S}_{单} （ {候选人,引用}_{k} ）} 。$

要使用ROUGE-S度量，请设置“ROUGEMethod”选项“skip-bigrams”。

Skip-Bigram和Unigram共现统计(ROUGE-SU)

要在ROUGE-S度量中包含unigigen共现统计信息，请在ROUGE-S的召回率和精度评分中引入unigen计数。这相当于在候选和引用文档中包含开始令牌，因为

$\sum_{skip-bigram \in r_{我}} （数（ skip-bigram ，候选人) ） + \sum_{unigram \in r_{我}} （数（ unigram ，候选人）＝ \sum_{skip-bigram \in r_{我}^{+}} （数（ skip-bigram ， {候选人}^{+} ）），$

在哪里计数(unigram候选人)指定的符号在候选文档中出现的次数和<年代pan class="inlineequation"> $r_{我}^{+}$ 和<年代pan class="inlineequation"> ${候选人}^{+}$ 分别用开始标记标记引用句和候选文档。

对于多个参考文档的集合，ROUGE-SU度量由

$ROUGE-SU(候选，参考)= m 一个 x_{k} {{ROUGE-S}_{单} （ {候选人}^{+} {、引用}_{k}^{+} ）} ，$

在哪里<年代pan class="inlineequation"> ${参考}^{+}$ 是包含添加了开始标记的句子的参考文档。

要使用ROUGE-SU度量，请设置“ROUGEMethod”选项“skip-bigrams-and-unigrams”。

参考文献

[1]林琴耀。胭脂:一个自动评估摘要的软件包。在文本摘要分支74-81页。2004.

版本历史

R2020a中引入

另请参阅

tokenizedDocument|<年代pan itemscope itemtype="//www.ru-cchi.com/help/schema/MathWorksDocPage/SeeAlso" itemprop="seealso">bleuEvaluationScore|<年代pan itemscope itemtype="//www.ru-cchi.com/help/schema/MathWorksDocPage/SeeAlso" itemprop="seealso">bm25Similarity|<年代pan itemscope itemtype="//www.ru-cchi.com/help/schema/MathWorksDocPage/SeeAlso" itemprop="seealso">cosineSimilarity|<年代pan itemscope itemtype="//www.ru-cchi.com/help/schema/MathWorksDocPage/SeeAlso" itemprop="seealso">textrankScores|<年代pan itemscope itemtype="//www.ru-cchi.com/help/schema/MathWorksDocPage/SeeAlso" itemprop="seealso">lexrankScores|<年代pan itemscope itemtype="//www.ru-cchi.com/help/schema/MathWorksDocPage/SeeAlso" itemprop="seealso">mmrScores|<年代pan itemscope itemtype="//www.ru-cchi.com/help/schema/MathWorksDocPage/SeeAlso" itemprop="seealso">extractSummary

主题

使用注意力的序列到序列转换

rougeEvaluationScore

语法

描述

例子

计算相似度

指定N-Gram长度

输入参数

候选人- - - - - -<年代pan itemprop="purpose">候选人文档tokenizedDocument标量|<年代pan itemprop="inputvalue">字符串数组|<年代pan itemprop="inputvalue">字符向量的单元格数组

参考文献- - - - - -<年代pan itemprop="purpose">参考文档tokenizedDocument数组|<年代pan itemprop="inputvalue">字符串数组|<年代pan itemprop="inputvalue">字符向量的单元格数组

名称-值参数

NgramLength- - - - - -<年代pan itemprop="purpose">n元长度1(默认)|<年代pan itemprop="inputvalue">正整数

SkipDistance- - - - - -<年代pan itemprop="purpose">跳跃距离4(默认)|<年代pan itemprop="inputvalue">正整数

输出参数

分数- ROUGE评分标量

算法

胭脂得分

参考文献

版本历史

另请参阅

主题

`候选人`- - - - - -<年代pan itemprop="purpose">候选人文档
`tokenizedDocument`标量|<年代pan itemprop="inputvalue">字符串数组|<年代pan itemprop="inputvalue">字符向量的单元格数组

`参考文献`- - - - - -<年代pan itemprop="purpose">参考文档
`tokenizedDocument`数组|<年代pan itemprop="inputvalue">字符串数组|<年代pan itemprop="inputvalue">字符向量的单元格数组

`NgramLength`- - - - - -<年代pan itemprop="purpose">n元长度
1(默认)|<年代pan itemprop="inputvalue">正整数

`SkipDistance`- - - - - -<年代pan itemprop="purpose">跳跃距离
4(默认)|<年代pan itemprop="inputvalue">正整数

`分数`- ROUGE评分
标量