牛津大學引入了業界領先的影像辨識機器學習原型，以增强錢幣的數位化。

牛津大學在其花園、圖書館和博物館 (GLAM) 藏品中收藏了 2,100 萬件物品，其中包括世界上最重要的手工藝品和標本。GLAM 使命的其中一個方面是保護這些資產，並讓其可供全世界進行教育和研究。然而，該組織一次只能展示約 10% 的藏品，而且還有大量積壓的文物等待編目。為了解決該障礙，GLAM 使用 Amazon Web Services (AWS) 來建置一個增強的影像識別系統，這將有助於加速對文物進行編目的程序。

花園和博物館 IT 團隊使用了 Amazon SageMaker，這是一項全受管服務，讓開發人員和資料科學家能夠快速建置、訓練和部署機器學習 (ML) 模型。在 Amazon Elastic Compute Cloud (Amazon EC2) 執行個體的支援下，這些模型經過訓練並以低成本進行部署，以自動對 Ashmolean 博物館的大量硬幣藏品進行編目，這是英國第一座公共博物館，也是世界上首個最大型的大學博物館。在 AWS 上，影像識別系統可對硬幣進行識別和編目，只需人類誌願者完成相同任務的一小部分時間。

GLAM 包含四座博物館，即 Ashmolean 藝術與考古博物館、牛津大學自然歷史博物館、Pitt Rivers 博物館和科學史博物館，以及 Bodleian 圖書館、牛津植物園和 Harcourt 植物園。2019 年，GLAM 的數位藏品吸引了 900,000 名訪客。其 2,100 萬件物品包括活體標本和植物、歷史文物，甚至是損壞、遺失或歸還給收藏家的物品影像。「多年來，博物館在投資和管理支援我們所有數位服務的資訊技術基礎架構方面並沒有過於積極，」花園和博物館 IT 系統架構師和網路經理 Anjanesh Babu 說道。「經過多年對過時基礎架構投資不足之後，牛津大學透過 GLAM 數位計劃將策略重點放在數位轉型上。」 作為該計劃的一部分，數位資產改進專案是對基礎架構進行根本和分支改進，以使其適合滿足目標中提出的數位願望的基礎部分。2017 年，該專案將 60 TB 的數位記錄上傳至 Amazon Simple Storage Service (Amazon S3)，這是一項提供產業領先的可擴展性、資料可用性、安全性和效能的物件儲存服務。

為了最佳化對數位教學和研究藏品的存取，GLAM 將目光投向 ML 解決方案，該解決方案將減少研究部門識別和編目物件所需的時間。為此，Anjanesh 必須確定編目良好，且會成為原型設計候選的適當藏品。Jerome Mairat 是 Ashmolean 博物館 Heberden 硬幣展廳的策展人，之前曾有從頭開始開發數位藏品的經驗，並表示願意支援這一探索。該解決方案首先會與 Roman Province Coinage online 配合，這是一項世界知名的錢幣學研究專案。Anjanesh 解釋道：「我想透過一個實際的範例，來說明我們可以做些什麼來向利害關係人展示。」「硬幣是該資訊的天然載體，具有巨大的參與能力，因此我們踏上了與 AWS 資料科學團隊互動的旅程。」 機器學習的第一步是決定您要預測什麼，在本例中，Anjanesh 想要預測一個簡單的結果：頭或尾，即正面或反面。提供一組已知的訓練資料，機器學習解決方案能否高度準確地預測硬幣的右側？ 這是進入 ML 世界迫切需要的。結果不僅僅是簡單的「正面或反面」，而是豐富的資料分類。

GLAM 使用 AWS 於大約 10 週內，在 Amazon SageMaker 上建置和部署了 11 個機器學習模型。在那段時間裡，研究和實驗花費約一個月的時間。「原型製作非常迅速，且超出我的預期，」Anjanesh 說道。GLAM 使用包含 100,000 張影像的初始資料集，率先利用 Amazon SageMaker Notebooks 來建置、訓練和試驗模型。後來，它切換至 Amazon SageMaker 訓練任務，因為許多訓練任務可在 Amazon EC2 P3 執行個體 (採用 NVIDIA V100 Tensor Core GPU 技術) 上與 Amazon EC2 Spot 執行個體同時啟動。Amazon SageMaker 管理訓練任務，以便其在運算容量可用時執行。透過使用 Spot 執行個體定價，GLAM 能夠以 Amazon EC2 隨需執行個體定價 10% 的成本和 50% 的時間來訓練模型。由於 Amazon SageMaker 與架構無關，因此 GLAM 能夠在 PyTorch 上訓練模型並實現自己的演算法和指令碼。

由此產生的影像識別系統涉及一系列模型。首先，多個 ML 模型進行影像預處理，以便影像識別模型能夠產生最佳結果。例如，為了數位化硬幣，志願者，通常是大學生，會拍攝每一面，然後將其編目。如果硬幣偏移 20 度，ML 模型也無法處理，因此使用卷積神經網路將每個影像旋轉 90 度，Jerome 本人表示該程序可將 Ashmolean 博物館節省 3 年的工作時間。還有一種模型從硬幣影像中去除背景，另一種模型利用最先進的對抗網路對影像去模糊、去噪和放大，以使其具有高品質。該程序非常有效，甚至可以使用手機中的圖片。

一旦影像就緒，更多的 ML 模型會擷取硬幣的特徵，例如它是否顯示金額、是否由金屬製成或描繪一個人，並使用這些資訊在 GLAM 的索引中找到具有相似特徵的硬幣。然後，轉換器模型會產生影像字幕或中繼資料，並標記到每個影像。所有模型都會部署在 Amazon EC2 G4 執行個體 (採用 NVIDIA T4 Tensor Core GPU 技術)，從而將推論時間從數分鐘縮短至幾秒。

影像識別系統有望在收集 300,000 個硬幣時節省長達 3 年的工作時間。「它正在用 ML 模型取代我們的生產線，以改進管理步驟，」Anjanesh 說道。Jerome 補充道：「現在，我們可以讓志願者專注於其他增值步驟。ML 程序改善了工作流程和生產力，並為公眾增加了價值。」 ML 模型有望引領未來對 GLAM 的大量影像資料集進行分類。

分析一枚硬幣，以前需要各地志願者花費 10 分鐘至幾小時，一旦設置影像識別系統，預計只需幾分鐘即可。「如果我們有針對資料集的 ML 模型，並且負責驗證和影像增強，那不僅可以節省員工時間，還可以指導志願者，並且可提高他們使用此類模型的技能。學生可以從中獲得知識，這是我們可為整個程序增加的另一項價值，」Jerome 解釋道。

影像識別系統還可用於激勵與訪客的視覺互動。例如，Ashmolean 博物館曾經舉辦過物品鑑定會議，在此期間人們可以攜帶物品並尋求策展建議，來識別這些物品並了解其故事。現在，透過採用 AWS 技術的影像識別，人們可以拍攝物件並在家上傳該影像以了解其詳細資訊，從而實現虛擬物品識別的可能性。

GLAM 計劃將其影像識別系統運用於硬幣以外的物品，包括更複雜的物品，如植物、寶石、蝴蝶和其他藏品。此外，它還希望在 GitHub 上與其他大學和研究機構共享該系統的開源版本，以促進資料集的共享，作為更大策略藍圖的一部分。

展望未來，Anjanesh 設想了其他方式，使 ML 可以提高對 GLAM 藏品的可存取性並簡化內部流程。目前，網站訪客無法使用單一搜尋方塊，在 GLAM 的藏品中尋找特定物品；他們必須存取每間博物館或圖書館的單獨網站。人們希望針對所有 GLAM 提供跨藏品搜尋功能。最終，Anjanesh 設想了一項更強大的搜尋功能，該功能可梳理世界各地眾多參與大學和遺產合作夥伴的藏品。此外，在更為本地化的方面，機器學習解決方案可用於監控和調整畫廊的溫度，以最好地保存物品，這將增加收藏護理團隊的工作。

透過在 AWS 上建置影像識別系統，GLAM 大大增加了學生、研究人員和公眾訪客對其藏品的存取權，同時為其員工和志願者節省大量工作。「非常感謝 AWS 在這方面付出的努力，」Anjanesh 說道。「我認為這個專案既複雜又耗時，但使用 AWS 可透過常用的現成工具輕鬆實現，這些工具既可連接又可快速交付。」