在近期举行的“TCCI-neurochat神聊2022”会议上，香港城市大学助理教授李吉星与大家分享了在不同时间维度下建模语言处理，包括其所在团队使用自然范式和传统实验室范式完成的四个研究。在李吉星看来，深度学习领域飞速发展，人工智能可以在很大程度上模拟人说话，这些进步让人看到了在计算机制上理解语言的神经基础的可能性，她认为现在是研究计算神经语言学的最好时机，以下为相关问答及精彩观点。

问：请介绍一下您的研究领域，您为何选择该领域？

李吉星：我的研究领域是计算神经语言学，具体来说就是结合计算模型和神经影像的数据，包括功能性磁共振成像（fMRI），脑磁图技术（MEG）和脑电图（EEG）等来理解人脑是如何加工语言的。我选择这个领域是因为我想要更好地理解语言，这一人类特有的技能。现在，深度学习领域飞速发展，人工智能可以在很大程度上模拟人说话，这些进步让我们看到了在计算机制上理解语言的神经基础的可能性。我认为现在是研究这个领域的最好时机。

问：代词在人类语言中使用甚广，目前关于代词加工的神经语言学机制有哪些？在人脑中如何表征？

李吉星：其实目前关于代词的神经语言学的研究并不多，之前的研究主要还是集中在定位（localization），主要在讨论哪些区域在负责代词的加工。比如中颞叶（middle temporal lobe）、额中回（Middle Frontal Gyrus）或是角回（Angular Gyrus）。此外，对于代词具体的加工机制研究也很少，基本没有相关的研究。我的工作主要是运用计算模型比较了几种可能的加工机制，结果发现以工作记忆为基础的计算模型，可能是目前最符合人脑加工代词机制的模型。当然，不排除未来可能会有更好的模型。

问：您是如何选择相关的计算模型以检验最贴近大脑加工代词的算法？如何提高这些模型的表现？

李吉星：选择计算模型主要有两种方式，可以选择理论驱动的模型或是数据驱动的模型。理论驱动的模型主要是通过语言学，心理语言学以及一些认知神经的理论来构建所需的模型。数据驱动的模型主要来源于工程领域，比如以注意力为基础的GPT模型（Generative Pre-Training），这种模型不是根据理论建立的，但它们也可以完成理解代词的任务。

模型的检验可以通过对比收集到的神经影像数据，包括fMRI和MEG的数据。在代词加工的时候，将这些数据和模型做拟合，比较模型的预测和人脑数据之间的相关性来决定哪一个模型是更贴近大脑的模型。提高模型的表现其实是个工程学的问题，是否在工程上表现得最好的模型就是最贴近大脑的模型是个值得探讨的话题。

问：是不是需要更多的数据来提高模型的表现？

李吉星：如何用神经影像的数据来提高模型的表现是一个非常好的问题。我觉得现在我们主要还是运用计算模型来建模认知神经，这个方向的研究比较多，但是反过来，如何用神经影像的数据来建立和改善 brain- inspired的计算模型，这方面做的还是比较少的。简单来说，从计算到神经有比较广泛的研究，而从神经到计算的研究还在发展之中。

问：哪些认知功能影响着我们理解代词指代对象的过程？

李吉星：我认为工作记忆可能是影响代词加工的最重要的因素。此外，语境和句法也很重要。句法主要是对需要句法的语言来说更重要，比如英语，除了性别信息，它还有数量的信息，当你用they的时候，代词和动词的单复数也要变化，所以句法也很重要。

问：自然范式实验中的文本材料，其挑选准则有哪些？比如在代词加工的研究中，您选择了小王子作为材料，不同类型的文本材料会对研究有影响吗？

李吉星：这是个非常好的问题，我认为首先需要结合被试的年龄和教育背景，选择适合被试的材料。过于书面语的材料可能不太适合用做实验的听力材料，最好选择简单易懂的材料。另外可以考虑材料是否可以扩大到其他语言，为后续的研究做铺垫。选择小王子主要考虑的是小王子被广泛地翻译为了不同的语言，同时它的文风也是简洁易懂的。

问：您实验室未来的研究重点是什么？

李吉星：我的实验室未来的研究重点主要在两方面，一是运用计算语言学的模型来更好的理解人脑加工语言的神经机制；第二个方向是利用我们所理解的神经机制构建更贴近人脑的计算语言模型。

背景信息

李吉星博士毕业于康奈尔大学语言学系，曾在纽约大学阿布扎比分校神经语言学实验室从事博士后工作，现为香港城市大学助理教授。她的研究方向为语言的表征和计算的认知神经机制。她的研究融合了语言学，自然语言处理和认知神经科学的理论和分析方法，运用统计和机器学习来对比心理语言学的假设和人脑在加工语言时的神经影像数据。

文/北京青年报记者 蒋若静
编辑/高艳