半两财经|ChatGPT写论文靠谱么?亲测:文科多套话 理工科文献“查无此文”
北京青年报客户端 2023-04-30 09:30

近日在社交媒体上,许多网友晒出用ChatGPT写论文的经历,有的网友赞叹“它写论文的能力,真是不服不行”,同时论文的查重率只有个位数;而有的网友表示,“让Chatgpt写论文,简直是一本正经地瞎编”。那么,ChatGPT写论文靠谱吗?为此,北京青年报记者对ChatGPT进行了测试,用ChatGPT写出了一篇论文并对其进行查重,结果显示只有22.9%的重复率,低于本科高校30%的查重率要求。不过,高校教师表示“ChatGPT写出的论文是现有的数据和资料整合而来,它并非原创,而且有很多研究方法它是没有办法做到的”。此外,多个高校及期刊也宣布“暂不接受任何大型语言模型工具(例如:ChatGPT)单独或联合署名的文章”,如在文中使用该工具,必须作出具体说明。

实测:

半个小时写完一篇7678字论文,最大问题是套话多

事实到底是怎样的呢?北京青年报记者联系一位国外的朋友帮忙对ChatGPT写论文进行了测试。在确定论文选题后,将论文题目发给ChatGPT,让它“帮我设计一篇大学本科毕业论文,以‘基于新媒体背景下广播电视编辑业务的发展和创新研究’为题,写出内容摘要、关键字,并列出论文框架结构和可能涉及的参考文献”。不到三分钟的时间,一份十分完整的论文提纲就映入眼帘,整个过程非常快,“直接就出文字了”。

在得到答案后,根据ChatGPT给出的提纲内容,要求它“根据小标题写出500字左右的详细论述”,每部分的小标题都重复进行这一步骤,在提问和引导下,半个小时都不到,一篇7678字的论文就完成了。

在整合和调整字体格式后,北青报记者对ChatGPT写出的论文进行了查重,得到的查重结果是这篇论文的重复率只有22.9%。在没有经过任何修改的情况下,这样一篇接近八千字的论文,它的查重率完全可以满足一篇本科生毕业论文的要求。

在多个社交平台,北青报记者也注意到,多位网友表示,自己通过ChatGPT写出的论文查重率普遍较低,有的甚至重复率只有个位数。

ChatGPT真的已经可以写论文了吗?北青报记者深入调查发现,虽然使用ChatGPT写的论文的查重率比较低,但随着使用它写作论文的人变得越来越多,其中存在的问题开始逐渐暴露。

据北青报记者对ChatGPT写的论文内容的观察,文章整体来说逻辑清晰,语言表达也很流畅,但论文内容最大的问题是很多的套话、空话,并没有什么深度,非专业人士看起来觉得非常完美,但仔细推敲,其写出的内容很大程度上并没什么“营养”。

追访:

不擅长理工科领域,给出的参考文献甚至“查无此文”

此外,调查中发现,ChatGPT有其“不擅长”的论文科目。尝试过使用ChatGPT写论文的网友反映,它在文科领域的写作水平较好,但在理工科领域方面表现得并不理想,一些专业的术语、较为复杂的理论,大量的数据、实验、图表、公式、计算过程等,ChatGPT是不擅长的,因此,其输出的观点会漏洞百出。例如ChatGPT在面对数学类问题时,需要用户自己花大量时间去和它解释,而最终的效果可能也并不尽如人意。“让ChatGPT帮我写论文,写出一大段话看似有道理,结果发现到处都是错误表述”,网友表示十分无奈。

ChatGPT写出的论文真实性难以保证,很多内容都是其虚构出来的,其中它写出来的参考文献被网友吐槽得最多,乍一看有理有据,文章题目、作者名、格式看起来都极其规范,但根本经不过推敲。

北青报记者继续测试,让ChatGPT回答“wincc软件做多区温度采集控制系统上位监控程序设计参考文献”以及“请以“基于DEA-AHP-FCE方法的民营企业上市公司绩效综合评价研究”为题,写出论文框架结构和参考文献”。 ChatGPT很快给出了回答,不过,北青报记者将其给出的参考文献在知网和百度学术等文献检索平台进行搜索,结果却是查无此文。

多位网友也反映,“基本上没有文献是能够在期刊上找到”。更离谱的是,连参考文献的作者姓名都是胡乱起的,甚至会草率地冠上“张三、李四、王五”这种一看就知道是编造出来的名字。因此,不少网友吐槽道,“简直是在一本正经地瞎编”。

当北青报记者向ChatGPT提问,“为什么写出来的论文中很多参考文献都是查不到的”,ChatGPT则回答说:“非常抱歉,可能是因为我在生成论文参考文献时没有认真检查它们是否真实存在。我是基于模型所学到的文献知识和信息,通过自动生成的方式来为您提供参考文献,但并不保证每个文献都是存在的或者最新的。建议您自己进行参考文献的检索和筛选,以确保论文的可信度和可靠性。”因此,在使用ChatGPT辅助写论文时一定要进行谨慎地考证,若引用这种出处无法考证的文献,很容易被判定为具有学术不端的行为。

现状:

多所高校对使用AI写论文现象,已有一系列相关措施

据报道,北密歇根大学的教授奥曼在学生作业中发现了一篇关于世界宗教的论文,他说:“这篇文章写得比大多数学生的‘完美论文’都要好......好到不符合我对学生的预期!”当他去问ChatGPT: “这是你写的吗?”ChatGPT回答说,“99.9%的概率是的。”对于这种学生利用AI完成作业和论文的现象,已经出现了一些相应的应对措施。

数字图书馆平台建设产品“Turnitin”正式推出了可以检测学生是否在论文或作业中使用ChatGPT的系统,并声称检查结果的可信度高达98%。Turnitin称,这项技术的误报率很低,同时也还在不断发展,用以应对人工智能生成工具的复杂性。

在学校方面,早在1月初,美国纽约市教育部就宣布禁止公立学校的学生在其设备和网络上使用ChatGPT,以预防学生作弊行为,众多国外的高校相继发布ChatGPT的使用禁令。

目前,已有英国已有28所大学宣布,明令禁止学生使用ChatGPT,否则将会被认定学术不端,违规者还将面临被开除的严重处分,其中包括兰卡斯特大学、牛津大学、剑桥大学、爱丁堡大学、曼彻斯特大学、布里斯托大学、伦敦玛丽女王大学等。东京大学在4月3日,以副校长的名义向全体师生发表了一份公开信,公开信称,ChatGPT不是检索软件,而是一个“相谈”系统,因此,学生的学位论文和学业报告不能用ChatGPT来完成,因为ChatGPT完成的文章,是利用了长期积累的学习知识而写成的文章,很可能会涉及信息泄露和侵害著作权等问题。除东京大学之外,东北大学和上智大学等日本著名大学也都发表了ChatGPT的使用指南,反对学生直接用这一AI系统来写作论文。

国内方面,香港大学则在2月17日发送给全校的电子邮件中表示,已暂时禁止学生在课程作业、评估或上课时使用ChatGPT或任何其他AI工具,任何涉嫌违规的行为都将被视为抄袭。

2月10日,《暨南学报》编辑部官方平台发布了《关于使用人工智能写作工具的说明》,内容包括“暂不接受任何大型语言模型工具(例如:ChatGPT)单独或联合署名的文章”、“如果在论文创作中使用过相关工具,需单独提出,并在文章中详细解释如何使用以及论证作者自身的创作性。如有隐瞒使用情况,将对文章直接退稿或撤稿处理”、“对于引用人工智能写作工具的文章作为参考文献的,需请作者提供详细的引用论证”。

《天津师范大学学报(基础教育版)》在2月11日也发布相关声明,倡导合理使用新工具、新技术,建议作者在参考文献、致谢等文字中对使用人工智能写作工具(如:ChatGPT等)的情况予以说明。《天津师范大学学报(基础教育版)》表示,“我刊会加强对学术论文的审稿工作,坚决抵制学术不端行为,追求基础教育研究的科学性、准确性、完整性和创新性,致力于基础教育事业的发展,进一步发挥好基础教育成果传播和交流的重要载体和平台作用。”

提醒:

ChatGpt始终是一个辅助工具和助手,使用者要对此保持清醒

大四学生小张曾用ChatGpt帮助了解论文的研究背景相关内容,他坦言,“ChatGpt的使用还是蛮方便的,可以帮助我节省一些时间,高效地完成一些任务。但它对于我来说只是起到了一种辅助作用,论文要输出的还是自己的思想。”

对于ChatGPT的优缺点,辽宁省某高校新闻学专业教师黄玲表示,ChatGPT确实可以帮助我们更加高效地查找资料,以及对论文的细节进行优化。但ChatGPT写出的论文是现有的数据和资料整合而来,它并非原创,而且有很多研究方法它是没有办法做到的,因此具有很大的局限性。

谈到如何判断学生论文的原创性,“一方面瑕疵是很重要的,学生的论文中一些语法和句式的错误是很常见的,如果出现了一篇十分‘完美’的论文时,就要提高警惕了;另一方面,每个人的论文往往都会有一些自己的闪光点或个人特色,这些都会帮助我们鉴别论文是不是通过AI创作的”,黄玲分享道。

人工智能是当今时代的大趋势,但学术论文是任何AI都替代不了的。辽宁省某高校新闻学专业教师姜巍认为,对于学术论文来说,最重要的是创新性。不论是理论创新还是研究方法创新等,这些都需要作者自己去思考,我认为人工智能在这个方面是无法替代人类的,它始终是一个辅助的工具和助手。提到对ChatGPT的运用,她表示,“大家可以使用ChatGPT来做一些日常的通知写作等,这样大大节约了时间,人工智能的发展最终是为了人类更好地发展,所以无论是设计者还是使用者都要对此保持清醒的认识。”

【版权声明】本文著作权(含信息网络传播权)归属北京青年报社所有,未经授权不得转载

实习生/杨茜雯

文/北京青年报记者 温婧
编辑/樊宏伟

相关阅读
​ChatGPT发布两周年,“大学生的作业里充满了AI味”
澎湃新闻 2024-12-22
ChatGPT发布两周年 “大学生的作业里充满了AI味”
澎湃新闻 2024-12-20
复旦发文规范毕业论文AI使用:禁止用于方案设计、正文生成、语言润色
澎湃新闻 2024-11-29
现在感谢信都这么卷了? 癌症患者写论文向医生致谢 称写论文曾是本职工作
北京青年报客户端 2024-07-25
不少高校发布通知 “用AI检测AI” AI辅助或代写论文 拷问大学的容忍边界
中国青年报 2024-07-08
对AI代写论文明确说不
北京青年报客户端 2024-05-15
有大学生用AI代写论文?多所高校发文规范
人民网-教育频道 2024-05-14
对毕业论文进行AI代写检测,明确学生使用AI的底线
北京青年报客户端 2024-05-14
最新评论