人工智能翻译目前多利用基于人工神经网络的模型翻译各种语言。这些模型通常需要大量可在线获取的训练数据。不过,有些特定语言的数据尚不能公开和低成本获取或普遍可及,这类语言又被称为“低资源语言”。
“元”公司团队新研发的一种跨语言技术,能让基于人工神经网络的翻译模型学习如何利用已有的翻译高资源语言的能力来翻译低资源语言。团队应用该技术开发了一个名为NLLB-200的在线多语言翻译工具,可容纳200种语言,其能翻译的低资源语言的数量是高资源语言数量的3倍。这一研究成果近期发表在英国《自然》杂志上。
由于研究团队在许多低资源语言上只能获取1000至2000例样本,为扩大NLLB-200的训练数据量,他们利用一个语言识别系统发现了这些特定语言的更多实例。团队还从互联网存档中挖掘这些语言与英语的双语文本数据,帮助提升模型的翻译质量。
研究者称,该翻译工具可帮助低资源语言使用者使用互联网等技术,且这一模型还可用于教育,帮助这类人群获取更多图书和论文资料。不过研究者也表示,这一工具的误译情况仍有可能出现。