人工智能揭开了古代文物的秘密
利用深度学习和图像处理来恢复和保存艺术品
2005年，当Carola-Bibiane Schönlieb开始攻读数学博士学位时，她的第一个项目是帮助修复维也纳的一幅中世纪壁画。这幅画的残骸曾被藏在一间旧公寓的墙壁后面，上面布满了白洞，是几年前墙壁被拆除造成的破坏。Schönlieb的修复工具不是涂料、溶剂或树脂，而是算法。“维也纳大学的一些保管员已经开始对它进行物理修复，”Schönlieb说。“然后我们开始用数字技术来做这件事。”
MACH计划将艺术历史学家、文物保护学家、古典学家和中世纪学者的专业知识与数学家的专业知识结合起来，以推进修复和考古学。
在拍摄了受损壁画的照片后，Schönlieb研究了一种算法，可以用这些照片填补画作中缺失的、受损的部分，创造出原始壁画可能的样子的数字模型。当时，只有少数几篇论文描述了数学家和文物修复人员如何合作修复艺术品。文物保护人员和艺术史学家刚刚开始将他们的档案数字化，在机器上保存绘画、手稿和陶器。
中世纪壁画的一部分，曾经隐藏在维也纳公寓的墙后。图片来源:马赫。
Schönlieb现在是剑桥大学应用数学教授，他将图像分析和处理用于艺术修复和保护。目前，她与其他数学家和人文学科专家合作数学在文化遗产中的应用(马赫)倡议。该项目结合了艺术史学家、文物保护学家、考古学家、中世纪学者和数学家的专业知识，以推进修复和物质文化研究。
在他们目前的项目“揭开无形的面纱”中，MACH团队使用了MATLAB®用算法对罗马陶器进行编目，分析绘画横截面，让学者们看到文物之间的新关系，并以数字方式恢复过于脆弱的照明手稿。这三个项目重点领域已经酝酿多年。
Re-Illuminating手稿
MACH的合作始于2013年，当时Schönlieb在大学里做了一个关于数字图像恢复的演讲。剑桥大学费茨威廉博物馆的工作人员出席了开幕式，该博物馆展出了从古到今的艺术作品。他们认为Schönlieb的方法可以应用到他们的工作中。
菲茨威廉博物馆(Fitzwilliam Museum)的手稿和印刷书籍管理员在听到Schönlieb的图像修复演讲时，一直在寻求非侵入式的手稿修复方法。她联系了Schönlieb，建议他们合作。这就是MACH项目诞生的时候。
当面对损坏的绘画和文物时，文物保护人员面临两难的境地。虽然他们可以选择将一件物品恢复到它最初的样子，但损坏本身可以记录一件物品的历史。例如，中世纪的彩绘手稿是手写的书，写在羊皮纸上，有彩绘装饰，通常包括黄金或白银等贵金属。在某些情况下，手稿可能被故意去除或添加颜料，以消除所有权的标志，或掩盖令人不快的图像。
“使用虚拟和数学方法可以让你保持(照明手稿)的原样，并保留历史，并提供一个恢复的、原始的版本，它可能是什么样子的。它给了你两全其美的机会。”
苏珊娜·雷诺兹，菲茨威廉博物馆馆长
“我们修复能得到什么?修复又会失去什么?”菲茨威廉博物馆手稿和印刷书籍部的策展人苏珊娜·雷诺兹问道。雷诺兹是MACH小组的成员，研究中世纪彩绘手稿。
细节。
修复领域。
最终结果。
对大面积损坏的手稿进行数字修复。图片来源:©剑桥菲茨威廉博物馆。
当涉及到修复时，插图手稿尤其成问题。与其他形式的绘画相比，它们很少被修复。Schönlieb和剑桥大学应用数学和理论物理系及费茨威廉博物馆的助理研究员西蒙·帕里索托(Simone Parisotto)与雷诺兹合作，正在开发一款应用程序，以解决“揭开无形”项目的一个分支中的这些挑战。
该应用程序是为文物保护人员设计的，使用MATLAB开发，使用图像处理技术来识别损伤，并虚拟重建手稿中的图像。它依赖于修补这个术语最初指的是对一幅画进行物理重建。在数学领域，inpainting指的是数字还原图像。
利用深度学习和偏微分方程，MACH小组的程序可以填补受损手稿的空白，并预测不同修复途径的结果。用户从相同或相关的稿件中选取例子来训练算法——越多越好——然后算法就会重建图像中需要恢复的缺失内容。
雷诺兹说:“使用虚拟和数学方法可以让你保持物体的现状，并保留历史，并提供一个恢复的、原始的版本，它可能看起来像什么。”“这给了你两全其美的机会。”
除了修复，数学方法不仅可以使档案数字化，还可以利用人工智能使档案数据对文物保护人员、艺术史学家和考古学家更有用。
集群罗马陶器
“揭开无形”的第二个焦点的想法始于2015年，当时剑桥大学古典学高级讲师亚历山德罗·劳纳罗带着一个问题来到Schönlieb。作为一名考古学家，劳纳罗专注于罗马时期，并一直在意大利西部挖掘遗址。和以往一样，他发现了大量用于日常工作的普通陶器，比如烹饪，但他面临着一项艰巨的任务，那就是分析几千种陶器的形状、壶缘和底座的碎片。
“我遇到了一个考古问题，要对大量证据进行分析，”劳纳罗说。尽管有系统和全面的目录，帮助考古学家分析更精细的罗马陶器(精品)，但没有任何针对日常陶器，他想了解更多。
“有人可以通过所有这些(陶器碎片)的形状，但这超级乏味。因为我们是人，我们会犯错，我们有时会累，我们可能会错过一些东西。算法是不会疲劳的。”
Carola-Bibiane Schönlieb，剑桥大学应用数学教授
普通陶器，顾名思义，在考古遗址发现的陶器中占绝大多数。但考虑到这些陶器的形状非常多样，以及发现的数量之多，要弄清不同地点不同类型陶器之间的关系一直是一项挑战。
劳纳罗说:“因为普通物品代表日常用品，它让我们看到的古代人口比例比雕像、马赛克或博物馆里漂亮的彩绘罐更大。”创建一个目录来记录这些物体及其彼此之间的关系，可以为了解过去文明的日常生活提供进一步有价值的见解。“但这不是一个人能轻易做到的，”他说。
Schönlieb和Parisotto认为他们可以帮助Launaro解决这个问题。Schönlieb说:“有人可以把所有这些形状都看一遍，但那超级乏味。”“因为我们是人，我们会犯错，我们有时会累，我们可能会错过一些东西。算法是不会疲劳的。”
帕里索托和Schönlieb转向MATLAB来创建Launaro设想的目录。2016年，他们试用了一种系统，旨在将一幅陶器的侧面图与数据库中的类似图像进行匹配。考古学家根据它们的侧面形状对古代陶器进行分类，认为相似的形状代表着年代和功能的关系。
古代壶是根据轮廓所代表的形状来分类的。假设相似的概要文件是相关的。图片来源:马赫。
但效果并不好。参考陶器图像没有很好地组织。团队需要退一步，自己组织。“考虑到这将涉及数千种独特形状的陶器，我们需要利用计算机的处理能力，”劳纳罗说。
为了填写和组织他们自己的陶器数据库，该团队添加了数千张常见陶器的黑白图片。到2020年底，大约有6000个陶器的剖面将被收录。帕里索托正在使用无监督深度学习算法对相关陶器形状进行分组或聚类。该程序创建了分级树状图，将陶器碎片分组，以便更好地向考古学家展示不同类型之间的关系。“这个想法是从可用的物体中提取相关的特征，”帕里索托说，“并找到将不同特征联合起来的关系。”
通过确定常见物品类型之间的关系，考古学家可以更好地绘制它们在空间和时间上的发展和分布。这些关系可能会为贸易、定居模式或饮食习惯的重要发展提供线索。马赫小组仍在开发和测试该应用程序，但是，“最终的想法是创建一个工具，使考古学家能够更有效地解释他们挖掘和研究的遗址，”劳纳罗说。
油漆碎片的艺术课程
Kasia Targonska-Hadzibabic是MACH团队的一名研究助理，也是一名训练有素的物理学家，她正在从事“揭开无形”的子项目，该项目采用了类似于罗马陶器数据库的原理。但Targonska-Hadzibabic正在与Parisotto合作，为油漆芯片横截面的数字图像建立一个平台，使其能够进行分类和比较。
在艺术保护中，研究一幅画上小碎片的横截面可以揭示艺术家是如何创作这幅作品的。Targonska-Hadzibabic说:“它会告诉你艺术家使用的技术，这幅画是如何画的。”
MACH团队还创建了一个系统，可以识别来自不同绘画、艺术家或不同时期的油漆芯片横截面之间的联系，从而找出可能的相似性。
传统上，保管员会将这些横截面保存在树脂中，然后在显微镜下检查不同的油漆层。近看，树脂覆盖的油漆碎片看起来像一个彩色的多层三明治。Targonska-Hadzibabic在艺术保护领域的同事一直在将他自己的颜料芯片横断面档案数字化，想要了解除了艺术家个人的技术之外，这些颜料芯片还能揭示什么。
画老大师画的横截面。图片来源:马赫。
Targonska-Hadzibabic与Schönlieb合作创建了一个系统，可以识别不同绘画、艺术家或不同时期的横截面之间的联系。横截面上的层次并不统一，不仅在颜色上有差异，而且在质地、混合和拍摄条件的一致性上也有差异。与罗马陶器项目一样，该团队正在使用MATLAB中的机器学习技术，将10,000多张横截面数字图像根据其特征聚类为有意义的组。
据Targonska-Hadzibabic说，他们还不确定这些算法可能揭示什么。她说:“这是一个反复的过程，需要与文物保管员进行沟通，从艺术史的角度寻找重要的相似之处。”
但通过他们的应用，他们希望保护人员能够将其源横断面的层与数据库中其他横断面的类似补丁进行比较。不仅应用程序用户可以看到这些结果，Targonska-Hadzibabic也在努力确保管理员可以根据他们的需要轻松修改结果。
在这个领域
来自考古、艺术保护和艺术史专家的反馈对指导这些项目至关重要。“只有专家才能引导数据科学领域的人们走上正确的道路，”帕里索托说。
Fitzwilliam的MACH合作者刚刚开始测试这些应用程序，但目标是将这些资源发布给所有学者和保护人员，扩展他们现有的工具箱。对于劳纳罗来说，普通陶器参考目录将使考古学以前被忽视的一面能够得到更详细的研究。
雷诺兹表示，MACH的数字手稿修复工具不仅可以帮助保护人员，还可以扩大教学和公众参与的选择。雷诺兹说:“我们希望它对教学非常有用，因为它能让你在最好的状态下使用物体的图像。”该工具还可以扩大博物馆的虚拟产品，向公众展示真实的艺术品和数字“原创”。
在MATLAB环境下开发了INLUMINA软件。图片来源:©剑桥菲茨威廉博物馆。
Targonska-Hadzibabic说，编译一个可以识别样品之间联系的颜料截面数据库，可以帮助专家识别新的绘画方法，并揭示之前未知的艺术家和艺术品之间的联系。
然而，这些工具都不能取代人文专业人员的工作。劳纳罗说:“在某种程度上，你需要一个人来解释。”“但还有其他一些事情可以让我们的工作变得更容易、更直接，而机器可以做到。”
头部图片:©剑桥菲茨威廉博物馆。
阅读其他故事
您也可以从以下列表中选择网站: