ChatGPT令科研人员喜忧参半
ChatGPT令科研人员喜忧参半的核心信息是什么？
点击 蓝字 关注“ 拓麦精要 ” 本文阅读时长：约6分钟 ChatGPT 关键信息 ◆ ChatGPT能够帮助提高科研人员的工作效率 ◆ ChatGPT可能会产生错误、偏见及误导性信息 ◆ 必须为LLMs类工具设定界限以保证学术诚信、 透明与公平 背 景 2022年12月，美国计算生物学家Milton Pividori和Casey G...
点击 蓝字 关注“ 拓麦精要 ” 本文阅读时长：约6分钟 ChatGPT 关键信息 ◆ ChatGPT能够帮助提高科研人员的工作效率 ◆ ChatGPT可能会产生错误、偏见及误导性信息 ◆ 必须为LLMs类工具设定界限以保证学术诚信、 透明与公平 背 景 2022年12月，美国计算生物学家Milton Pividori和Casey Greene请一位非科学家助手帮助改进3篇研究论文。该助手仅在几秒内即对论文的各个部分提出了修订建议；每篇手稿审查时间约5分钟，且费用不到0.50美元。在其中1篇生物学论文中，该助手甚至发现了一个方程式引用的错误。 属于「拓麦精要」分类。 关键词：人工智能、ChatGPT、大语言模型。
本文核心问答
Q1: 这篇资讯报道了哪些关键发现或临床意义？
点击 蓝字 关注“ 拓麦精要 ” 本文阅读时长：约6分钟 ChatGPT 关键信息 ◆ ChatGPT能够帮助提高科研人员的工作效率 ◆ ChatGPT可能会产生错误、偏见及误导性信息 ◆ 必须为LLMs类工具设定界限以保证学术诚信、 透明与公平 背 景 2022年12月，美国计算生物学家Milton Pividori和Casey Greene请一位非科学家助手帮助改进3篇研究论文。该助手仅在几秒内即对论文的各个部分提出了修订建议；每篇手稿审查时间约5分钟，且费用不到0.50美元。在其中1篇生物学论文中，该助手甚至发现了一个方程式引用的错误。
Q2: 本文属于哪个学科分类，涉及哪些关键词？
本文属于「拓麦精要」分类，涉及关键词：人工智能、ChatGPT、大语言模型。
Q3: 这篇资讯的发布时间是什么？
本文发布于2023-02-23，来源为TalkMED拓麦医学资讯平台。
点击蓝字 关注“拓麦精要”
本文阅读时长：约6分钟
ChatGPT
关键信息
◆ ChatGPT能够帮助提高科研人员的工作效率
◆ ChatGPT可能会产生错误、偏见及误导性信息
◆ 必须为LLMs类工具设定界限以保证学术诚信、透明与公平
背 景
文本流畅但缺乏真实性
一些科研人员认为，只要有人监督，LLMs非常适合加快撰写论文或基金等项目。但他们强调，LLMs有时会生成错误的回答，人们使用这些工具生成的信息时，需保持警惕。
ChatGPT在庞大在线文本数据库中学习的统计语言包括不真实、有偏见或过时的信息。而LLMs收到指示时，只是逐字逐句地生成看似合理的文本对话，这导致LLMs容易产生错误和误导性信息，特别是那些可能没有多少数据可以进行训练的技术性话题。
另外，LLMs也无法显示信息的来源，如果被要求撰写学术论文，它们会编造虚构的参考文献。[2]
ChatGPT的缺点能否克服
一些科研人员表示，目前ChatGPT还未接受足够专业的内容培训，无法对技术性话题提供帮助。一些科技公司正在对聊天机器人进行专业的科学文献培训：如Meta公司去年发布的LLM——Galactica，旨在生成学术内容和回答科研问题。但因部分用户利用其产生不准确信息和涉及种族的问题，该网站现已无法访问。
LLMs的安全问题与社会责任
如果不控制LLMs的内容输出，其很容易被利用生成仇恨言论和垃圾邮件，或是种族主义、性别歧视和其他有害内容（可能隐藏在其训练数据中）。
有研究者担心AI聊天机器人会从其训练数据中嵌入历史偏见或世界观，比如特定文化的优越性，而创建这些LLMs的公司大多处于或源自这些文化。
还有一些科研人员表示，学术界应完全拒绝支持大型商业LLMs。除了偏见、安全性和工人剥削等问题，聊天机器人可能使人们失去表达自己想法的能力。另外，LLMs通过抓取互联网上的信息进行培训，也易发生版权许可方面的问题和纠纷。
强制诚信使用LLMs类工具
一些科研人员认为给LLMs类工具设定界限可能至关重要。现行关于歧视和偏见的法律（以及计划中的对AI危险使用的监管）将有助于保证LLMs使用的诚信、透明和公平。
包括Nature在内的学术出版商已表示，科学家们应在研究论文中披露LLMs的使用情况[3]；Science期刊进一步称，不能在论文中使用ChatGPT或任何其他AI工具生成的文本。[4]
强制诚信使用LLMs类工具的一个方法是开发AI检测软件，以发现由AI创建的文本；另一个方法是为AI产生的内容添加水印。但这两种方法都不是万无一失的，检测工具和水印的添加只会欺骗性地让人们使用AI变得更困难，而并非不可能。
生成式AI的未来
目前LLMs的创建者们正忙于开发基于更大数据集、更复杂的聊天机器人（OpenAI有望在今年发布GPT-4），包括专门针对学术或医学工作的工具。[5]
Google和DeepMind发表的预印本：专注于临床的LLM，
名为Med-PaLM（文章截图）
斯克利普斯转化科学研究所所长Eric Topol教授表示：希望在未来，包括LLMs在内的AI甚至可通过交叉检查学术文献中的文本和身体扫描图像来帮助诊断癌症和了解疾病。但他强调，这一切都需要专家的合理监督。
生成式AI背后的计算机科学发展如此之快，以至于每个月都会出现创新。而科研人员选择如何使用AI，将决定着他们和我们的未来。
GPT-3如何编辑文章
（图片来自原文）
1
END
1
参考文献：
[1] Pividori M, Greene CS. A publishing infrastructure for AI-assisted academic authoring. Preprint. bioRxiv. 2023; 2023.01.21.525030. Published 2023 Jan 23. https://www.biorxiv.org/content/10.1101/2023.01.21.525030v1
[2] The AI writing on the wall. Nat Mach Intell 2023; 5:1. https://doi.org/10.1038/s42256-023-00613-9
[3] Tools such as ChatGPT threaten transparent science; here are our ground rules for their use. Nature 2023; 613:612. https://www.nature.com/articles/d41586-023-00191-1.
[4] Thorp, HH. ChatGPT is fun, but not an author. Science 2023; 379(6630):313. https://www.science.org/doi/full/10.1126/science.adg7879
[5] Singhal, K. et al. Large Language Models Encode Clinical Knowledge. Preprint. Arxiv. 2022; Submitted on 26 Dec 2022. https://arxiv.org/abs/2212.13138
原作者：Chris Stokel-Walker和Richard Van Noorden。Chris Stokel-Walker是英国纽卡斯尔的一名自由撰稿人；Richard Van Noorden伦敦《Nature》期刊的专题编辑。
本文编辑：Jeanne，进行内容整理和精简。
声明：
编辑部对刊载内容进行仔细审阅以尽力保持其准确性，但对稿件的使用或其中的任何错误、遗漏或不准确之处等均不承担任何责任。文中所表达的任何观点不代表编辑部的观点，文中提及或排除任何方法或药物并不构成对其使用的提倡、建议或拒绝，因此在为本文中提及的任何产品开处方前，请查阅生产商的最新处方信息。内容仅限医疗卫生专业人士学习交流使用，非医疗卫生专业人士请主动退出浏览与阅读，否则由此产生的相关风险与后果应自行承担。本条内容封面图由Paweł Jońca创作，来自Nature原文。
在未获得正式授权前，所有转载及使用文中内容均为侵权。
原文来自：Stokel-Walker, C. and Van Noorden, R. What ChatGPT and generative AI mean for science. Nature，614，（2023）：214-216. [News] Accessed 17 February 2023.
#AI：Artificial Intelligence，人工智能
#ChatGPT：Chat Generative Pre-trained Transformer，由美国OpenAI公司研发的聊天机器人程序
#LLMs：Large Language Models，大语言模型
引用格式：ChatGPT令科研人员喜忧参半. 发布日期：2023-02-23. 来源：TalkMED拓麦. URL: https://portal.talkmed.com/news/156 参考DOI: https://doi.org/10.1101/2023.01.21.525030v1, https://doi.org/10.1038/s42256-023-00613-9, https://doi.org/10.1126/science.adg7879
分享
收藏
1
