ChatGPT 测试报告 1

Estimated read time 1 min read

#头条文章养成计划#

需要说在前面的话:

ChatGPT是一个工具,有自己的特定算法,会有它自己的适用范围。

我测试chatgpt的目的不是要把这东西吹得神乎其神,或者专门问它不回答不了的问题来嘲笑这东西不好用,

重要的事情是搞清楚它的功能是啥:什么样的问题问它能得到合适的回答、什么样的问题它会一本正经的胡说八道?怎么提问能得到更好的回答?可以利用这个功能做些什么辅助工作?

先说测试的时候发现的一个情况,同一个问题可能会问出不同的答案。前几天我故意问了一个误导性的问题:为什么三体人害怕大脸猫。本来想的是用来检验“问的问题本身就有误导性,得到的答案也会是错误的”。

第一次问,得到了这样的回答:

而且在同一个主题下继续提问,会发现它已经认定了大脸猫是外星生物了。

在这个主题下再继续提问,它还会顺着往下说。比如说我再问为什么三体人害怕黑猫警长,它会这样回答:

这个时候,我以为自己的想法得到了证实,可是等我新开一个主题,同样问为什么三体人害怕黑猫警长,得到的答案就完全不一样了。

再新开个主题,问同样的问题,又得到了一个不一样的答案,看来这次对这个问题的关注点不在三体人上,而是在黑猫警长上了。

这一次的测试,最重要的提示是chatgpt并不是一个人,不能根据一个问题的答案就判定chatgpt是啥样的,它回答出来的答案是有一定的概率性的,要想知道chatgpt可能提供出来的答案,至少要把一个问题多问几遍,看看它都会做出什么样的回答。

测试还在继续,有什么想要测试的问题,或者有什么测试的思路,欢迎给我留言。我已经买了chatgpt的账号,会持续做各种测试并发布测试结果,欢迎各位朋友持续关注这个话题。

You May Also Like

More From Author