主要内容

文本数据准备

将文本数据导入MATLAB®并对其进行预处理进行分析

文本分析工具箱™包括用于处理来自设备日志、新闻提要、调查、运营商报告和社交媒体等来源的原始文本的工具。使用这些工具可以从流行的文件格式中提取文本，预处理原始文本，提取单个单词或多词短语(n-grams)，将文本转换为数字表示，并构建统计模型。有关显示如何开始的示例，请参见为分析准备文本数据．

文本分析工具箱支持英语、日语、德语和韩语。大多数“文本分析工具箱”功能都可以处理来自其他语言的文本。有关更多信息，请参见语言的注意事项．

功能

全部展开

extractFileText 阅读PDF文本，微软词、HTML和纯文本文件
extractHTMLText 从HTML中提取文本
readPDFFormData 从PDF表单读取数据
writeTextDocument 将文档写入文本文件
htmlTree 解析的HTML树
findElement 在HTML树中查找元素
getAttribute 读取HTML树根节点的HTML属性
ismissing 查找没有值的HTML树
字符串 将解析的HTML树转换为字符串
tokenizedDocument 用于文本分析的标记化文档数组
erasePunctuation 删除文本和文档中的标点符号
eraseTags 从文本中删除HTML和XML标记
eraseURLs 从文本中删除HTTP和HTTPS url
removeStopWords 从文档中删除停止词
removeShortWords 从文档或单词袋模型中删除简短的单词
removeLongWords 从文档或单词袋模型中删除长单词
removeWords 从文档或单词袋模型中删除所选单词
normalizeWords 词干或词根化单词
replaceWords 替换文档中的单词
replaceNgrams 替换文档中的n-grams
stopWords 停止词列表
decodeHTMLEntities 将HTML和XML实体转换为字符
较低的 将文档转换为小写
上 将文档转换为大写
上下文 在文档中搜索上下文中出现的单词或n-gram
tokenDetails 标记化文档数组中标记的详细信息
addSentenceDetails 在文档中添加句子编号
addPartOfSpeechDetails 在文档中添加词性标签
addLemmaDetails 向文档添加令牌的引理形式
addLanguageDetails 向文档添加语言标识符
addEntityDetails 为文档添加实体标签
addDependencyDetails 向文档添加语法依赖项细节
addTypeDetails 向文档添加令牌类型详细信息
splitSentences 将文本分成句子
corpusLanguage 检测文本语言
缩写 常用缩略语表
topLevelDomains 顶级域名列表
bagOfWords Bag-of-words模型
bagOfNgrams Bag-of-n-grams模型
addDocument 将文档添加到单词袋或n-grams袋模型中
removeDocument 从单词袋或n-grams袋模型中删除文档
removeInfrequentWords 从单词袋模型中删除计数低的单词
removeInfrequentNgrams 从n-grams袋模型中去除不常见的n-grams
removeNgrams 从n-g - bag模型中移除n-g
removeEmptyDocuments 从标记化文档数组、单词袋模型或n-grams袋模型中删除空文档
topkwords 词袋模型或LDA主题中最重要的词
topkngrams 最频繁的n字母
编码 将文档编码为单词或n-gram计数矩阵
tfidf 术语频率逆文档频率(tf-idf)矩阵
加入 组合多个单词袋或n-grams袋模型
用语 正确拼写单词
editDistance 查找两个字符串或文档之间的编辑距离
editDistanceSearcher 编辑距离最近邻搜索器
knnsearch 通过编辑距离找到最近的邻居
rangesearch 通过编辑距离范围找到最近的邻居
splitGraphemes 将字符串分成字母
docfun 对文档中的单词应用函数
containsWords 检查word是否是文档的成员
containsNgrams 检查n-gram是否是文档的成员
包含 检查模式是否是文档中的子字符串
+ 附加文件
取代 替换文档中的子字符串
regexprep 使用正则表达式替换文档中的文字
doclength 文档数组中文档的长度
doc2cell 将文档转换为字符串向量的单元格数组
joinWords 通过连接单词将文档转换为字符串
字符串 将标量文档转换为字符串向量
textanalytics.unicode.nfc Unicode组合规范化格式(NFC)
textanalytics.unicode.nfd Unicode分解规范化表单(NFD)
textanalytics.unicode.nfkc Unicode兼容性组合规范化表单(NFKC)
textanalytics.unicode.nfkd Unicode兼容性分解规范化表单(NFKD)
textanalytics.unicode.UTF32 Unicode UTF-32字符串表示
characterCategories Unicode字符类别
十六进制 将UTF-32表示转换为十六进制值
字符串 将UTF-32表示转换为字符串

主题

进口

预处理

语言支持

Baidu
map