6月23日，北京第二外国语学院发布《大语言模型翻译质量评测报告BISU-AiTQA（v1.0）》。该评测基于北二外多年的外语学科与教学积淀、结合前期翻译评测研究成果，学校集中英语、日语、俄语、法语、阿拉伯语五个语种师生力量，面向hatGPT、Claude、Gemini、Grok、DeepSeek和通义千问六个国内外语言大模型，从当代文学、党政文献和外事新闻三个领域开展翻译质量测评研究，突破国际现有评测以英语为核心的现状，构建了以汉语为核心，覆盖多语种、多领域的大语言模型翻译质量评测体系。

BISU-AiTQA（v1.0）的测评维度涵盖词汇多样性、句法复杂度、篇章衔接度、语言可接受度等在内的六项指标体系，着重关注译文的语言使用特性，可有效识别模型在词法、句法和篇章衔接方面的能力，同时考查模型对语义的理解与语言表达能力。

从报告来看，六个语言大模型的整体翻译质量差别不大，但翻译特点和擅长翻译的语种都不同，如在词汇多样性维度方面，通义千问在中译日得分较高，但在中译英得分较低。用户通过测评报告，可以更好地选择适用的翻译大模型。同时BISU-AiTQA（v1.0）也构建了一个系统化、可解释的评测机制，以评估大模型在多语言翻译任务中的真实能力，进一步促进大语言模型翻译能力的提升。

据了解，BISU-AiTQA（v1.0）由人工智能与语言科学学院汇集学校多语种研究力量发布。人工智能与语言科学学院在今年4月成立，汇聚计算机、数学及语言学师资，聚焦语言科学与人工智能技术的融合创新，瞄准北京市重点支持的“AI+X”领域（外语服务、脑机接口、老年康养、智慧文旅），通过“语言+AI+场景”的学科架构，建设成立了以语言科学为核心的文工交叉人才培养单位。

文/北京青年报记者 李晓萌
编辑/倪家宁