人工智能（AI）是当今科技领域最热门的话题之一，它可以帮助我们完成各种各样的任务，比如翻译、搜索、聊天、写作等等。但是，你知道吗？AI在编程方面的能力和知识其实很差，甚至有时候会出错得离谱。最近，有人用一个叫 ChatGPT 的 AI 工具来回答一些软件编程问题，结果发现它回答错了超过一半，而且还用它的语言风格和全面性来愚弄了不少人。这到底是怎么回事呢？让我们一起来看看吧！

ChatGPT 是一个由 OpenAI 开发的生成式 AI 工具，它可以根据给定的文本生成自然语言回复。它被认为是一个很强大的 AI 工具，因为它可以处理各种主题和场景，并且可以用流畅和有逻辑的语言来表达自己。

但是，ChatGPT 在编程方面却表现得很糟糕。普渡大学（通过 The Reg）进行了一项研究，涉及询问 ChatGPT 517 个 Stack Overflow 问题，并向十几名志愿者参与者询问结果。Stack Overflow 是一个著名的程序员问答网站，上面有很多关于软件开发和编程语言的问题和答案。

评估答案不仅看其是否正确，还看其一致性、全面性和简洁性。该团队还分析了回复的语言风格和情绪。

ChatGPT 的表现并不好。OpenAI 的工具仅正确回答了 48% 的问题，而 77% 的问题被描述为“冗长”。特别有趣的是，ChatGPT 的全面性和清晰的语言风格意味着其近 40% 的答案仍然受到参与者的青睐。不幸的是，对于生成式 AI 来说，77% 的首选答案都是错误的。

“在我们的研究过程中，我们观察到，只有当 ChatGPT 答案中的错误很明显时，用户才能识别出错误，”研究人员 Samia Kabir、David Udo-Imeh、Bonan Kou 和助理教授 Tianyi Zhang 撰写的论文指出。“但是，当错误不易验证或需要外部 IDE 或文档时，用户通常无法识别错误或低估答案中的错误程度。”

即使 ChatGPT 的答案明显错误，12 名参与者中仍有两人更喜欢它，因为 AI 的语气令人愉快、自信和积极。它的全面性和教科书的写作风格也有助于使事实上不正确的答案在一些人眼中显得正确。

“由于 ChatGPT 无法理解所提出问题的潜在背景，许多答案都是不正确的，”该论文解释道。

生成式 AI 制造商在其产品页面上添加了警告，警告他们给出的答案可能是错误的。甚至谷歌也警告其员工有关聊天机器人（包括其自己的 Bard）的危险，并避免直接使用这些服务生成的代码。当被问及原因时，该公司表示巴德可以提出不需要的代码建议，但它仍然对程序员有帮助。谷歌还表示，其目标是对其技术的局限性保持透明。与此同时，苹果、亚马逊和三星只是完全禁止 ChatGPT 的公司之一。

你对这件事有什么看法呢？你觉得 ChatGPT 的编程能力和知识怎么样呢？你会信任它给出的答案吗？欢迎你在评论区留言分享你的观点和感受。