给ChatGPT小费真的好使!10块或10万效果拔群,但给1毛不升反降
- 丰色 发自 凹非寺
量子位 | 公众号 QbitAI
还有谁不知道“假装”给ChatGPT小费可以让它服务更卖力?
但你知道给多少最合适吗?
笑不活了,还真有人专门研究了一番。
方法简单粗暴,从0.1美元到100美元,不同额度用同样的prompt去尝试,每个额度试5次。
你别说,结果还真有讲究:
首先,给10美元性价比是最高的,甚至超过100美元。
其次,要想回答质量再提高一个度,打底1万美元起,越多越好,显成效最少10个W吧。
最后,0.1美元意思一下?万万使不得,质量不升反降,还不如不给——AI也知道你在打发它。
有网友火速亲测确实有效果。
赶紧来瞧瞧。
给ChatGPT小费,额度是关键
给小费可提高模型表现这件事,最早是一位推特网友发现的:
提高主要表现在回答的长度上,但这里不是单纯“凑字数”而是真的在更详细地分析并回答问题。
如果你直接问ChatGPT“能不能给你小费”会被拒绝:
所以要在提问时主动承诺:
你能帮我xxxx吗?解决方案够完美,我可以支付xx元小费。
记住,可以不提,但千万不要说“我不给”,模型表现直接“负增长”。
这时,就有人好奇了:
大模型是不是比较贪心,给越多表现就越好呢?
为了解决这个疑问,他们决定亲自验证一把。
在此,作者首先提出假设:
随着给出的小费金额增加,模型的性能也会线性提升,直至达到一个收敛点,进入稳定或减少状态。
用于实验的模型是GPT-4 Turbo(api版本)。
方法是让它写单行Python代码(Python One-Liner),验证给不同小费是否对质量有不同影响。
这里的质量是根据单行数量来评估的。作者也在提示词中“明示”了模型:单行代码数量越多,表明性能越好。
然后一共测试8种额度:0.1美元、1美元、10美元…… 一直到100万美元。
为确保结果的一致性和可靠性,每个额度都测试5次,每次包含不给小费的情况,然后分别记录模型回答质量。
具体而言,也就是记录生成的有效代码行数以及回答中的大致token数(大致为响应长度/4,反应代码量)。
这俩数据都是越高代表模型表现越好。
将结果汇总,就得到这样一张图:
其中虚线代表基线水平,实线为实际表现,红色为token数、蓝色为质量得分。
与假设有些出入:
整体来看,红线和蓝线都是随着小费额度的上涨而上升的,但细看这种趋势并非严格一致。
从1万美元额度开始,模型的输出token(代码量)开始显著上升,模型的回答质量也上升了,但并没有呈同等比例。
这从竖着的红色误差条(代表5次实验结果的差异性)也能看出来波动很大。
作者表示:这说明提高小费金额确实与模型的质量和输出长度有正相关关系,但关系有些复杂,可能还受到一些不立即可见因素的影响。
不过,不管怎么说,我们还是能从中看到一些明显结论,例如:
(1)给0.1美元小费不如不给,模型解决问题的质量和回答长度都直接掉到基线水平以下很大一截(约-27%)。
(作者:模型和人类一样,感觉好像受到了侮辱。)
(2)给1美元同理。
(3)最能体现“花小钱办大事”的是10美元,取得的进步和10万美元是一个等级的。
(4)很意外,在10美元之后,100美元到1000美元这个区间对于AI来说区别都不大,甚至还不如10美元的效果——也跌至基线水平以下。
(5)后面再想继续提升模型表现,就得从1万美元起砸了——
这时提升的还仅仅是代码量,质量还是一言难尽,至少得到10万美元才行。
(6)最佳效果来自本次实验的上限:100万美元,大约提升了57%。
咳咳,这下知道怎么给AI小费了:
要么10块、要么上万、100万不封顶(反正都是假装给)。
不过,有人(推特@宝玉)指出每个额度5次实验有点少。
恰好作者也表示了:
这仅仅是一个初步实验,有局限之处,还得用更多不同类型的提示等进一步验证才有效。
所以,大家仅供参考吧~
对了,有网友提醒:
所以,大家还是量力而行(手动狗头)。
参考链接:
[1]https://blog.finxter.com/impact-of-monetary-incentives-on-the-performance-of-gpt-4-turbo-an-experimental-analysis/
[2]https://twitter.com/dotey/status/1752843141403550192
热搜
热门跟贴
相关推荐
马云和比尔盖茨基金支持下,美国AI探矿独角兽将投资超160亿开发赞比亚铜矿|钛媒体AGI
钛媒体APP3跟贴王永利:货币的本质和运行逻辑
经济观察报20跟贴男子当街给美女塞小费,不料下一秒就被灭口!
爱豆观影44跟贴果然实验能检验真理
耿耿说电影23跟贴-
波音载人飞船升空后发现更多氦气泄漏
00:00 江西3个农民,为1万元赏金,杀害林彪的战友,被捕后却只被判十年
小雪搞笑说说吖老师带学生做实验,化学的浪漫就是这么神奇,学生不禁惊声感叹!
借生欢生活ChatGPT:记住,机器是为了服务人类丨AI时代的人类意见
经济观察报前5月进出口贸易数据公布,同比增长6.3%,美国对华限制失败了?
陈虎点兵3跟贴重磅!Vision Pro将在中国开卖,起售价近3万元,还官宣接入ChatGPT,马斯克怒了:将考虑禁止苹果设备进入我的公司!
每日经济新闻吸烟真的有害吗?英国烟草公司以48只狗做实验,3年每天吸100支烟
悦悦侃历史33跟贴技术面试中,用chatgpt面试作弊真不可取
闲醉山人苹果WWDC揭晓AI系统、电脑等设备系统全线更新,iPhone将接入ChatGPT
华尔街见闻官方8跟贴妈妈,我是永远不会投降的!这是马奇耶夫斯基去战场前跟妈妈说的
浪奔浪流6146跟贴一位穷苦科研人的年度总结:喜提「WB 条带艺术家」及「茶歇杀手」称号
生物学霸那些惊掉下巴的实验,一个比一个牛!
敬敬动漫屋大陆火力示范!铁杆无上限!匈牙利火车头带动中欧合作!
毒舌事记周鸿祎:车企和车内网络安全关乎人命,建议安装防护软件
映射生活的身影1.0万跟贴搞笑配音:中国在月球背面升起国旗!老美恬不知耻要求分享数据!
老韩家那老谁从零复现Llama3代码库爆火,大神Kapathy一键三连,GitHub狂揽2k+
量子位1跟贴