k8凯发官网作为学术出版从业者,我们及用户最关心的问题是:AI润色质量如何;能否取代人;哪款工具最好用。
本文带着祛魅的目的对四款AI工具作了测评,希望能解答以上问题。鉴于出版界目前对AI生成的文字持保守态度,我们仅将测评范围划定在语言润色功能内。
本测评以一段约600字的研究型论文为样本,分别经四款AI工具润色语言,另外引入人工润色结果作为对照。*样本文章为中文母语者撰写,英语是其第二语言。测评前作者已知情同意,原文可见参考文献。
将人工润色纳入对比,一来是模拟科研作者先用AI润色再自行校对的过程;再则是出于学术道德考量,表明学术文章的署名作者可以借助工具完善内容,却也应明确对工具作业结果负责的立场。
有不少人对paperpal不太熟悉,这里简单介绍下。paperpal汇集20余年的发表支持经验,是一款意图提升研究者英语写作体验的AI工具,适用于期刊投稿、学位论文、基金标书、会议讲演稿等多种内容的编辑与改写,有诸多顶尖大学与主流出版社背书。有兴趣的朋友可以使用看看,2月29日前,新用户免费享Prime会员权益。(后续可能会收费)
AI工具的改写逻辑,其一是替换同义词。但是如果替换不当,在没有学科知识结构支撑的情况下,换词很可能让术语走样。
在QuillBot的返稿中,计算机术语时间步长time step被改为step,偏移了学术语境。
vector在计算机领域指存放数据或数据结构的序列,可译为序组,是可数名词。所以句中的vector理应改为vectors。
测评中,ChatGPT、Paperpal、QuillBot对此错误都校正准确。Grammarly对单复数未作改动,既没能判断单句中的词性词意,对上下文用词一致性的把握也欠火候。
decoder特指研究中的解码器,有点名意味,宜用the修饰。而parallel mechanism则泛指并行机制这一运行逻辑,结合语境前面用a修饰更合理。
Grammarly和QuillBot没有识别出后文的隐藏线索,而ChatGPT和Paperpal则在这句的编辑中展示了对语法和语境的两重理解。
ChatGPT的改动总数最多,但改错率也最高。超过一半的改动无明显对错。
ChatGPT编辑结果在修改语法之余做了大量改写,可以看作是同类工具grammar check + paraphrase两种功能的组合。文字流畅、贴近母语者水准;擅用同义词替换逻辑,把简单词汇转写为“大词”。后者对人工校对的要求高,替换是否有碍准确性,或用词是否过于艰深令表达效果失色,都需要专业判断。此外,编辑结果无法追踪修改痕迹,需借助第三方软件对比编辑前后文本,操作起来略有不便。
改得比较浅,校正停留在基础语法上。尽管免费版支持设置书面/口语模式及调节受众理解力(图14),但在改稿中没有体现,专业用词替换或措辞调整的情况均为零。
与人工编辑的润色结果非常接近,纠错和校正的综合效果好。返稿在专业上忠于原文,对学科术语有一定敬意,语言表达则更偏正式。比如将afterwards、after that改为subsequently;make clear改为clarify。其他三款工具除ChatGPT都没能向前迈这一步。
Paperpal支持逐句查看扣分点,视图类似Word的追踪效果。句首自动归纳问题性质,如重新措辞、主谓一致、大小写等。但如能更详细地注释语法规则,会更理想。
语言编辑效果中规中矩,识别问题和改错准确性在Grammarly之上。QuillBot的语法释疑相对完善,即对改动之处给出的语法说明在其他三者之上。