微博

电脑版
提示:原网页已由神马搜索转码, 内容由weibo.com提供.
24-03-11 18:00发布于 北京 来自 微博网页版
【呼吁简化:控制变量、补充分析、假设、图表、参考文献越多,文章就真的越好吗?[喵喵]
社会科学的定量论文正在变得越来越复杂。一长串控制变量、冗长的补充分析……严谨的考察绝非坏事,但是融入太多低价值信息,最终有可能降低整体信息有效性。

美国期刊《管理学杂志》主编Brian L. Connelly在离任之际与合作者共同发表了一篇风趣的社论,他们利用心理学研究者提出的「演讲者悖论」(the presenter's paradox)来分析这个问题。

这个悖论源自这样一个发现:获得1750美元奖学金加上15美元图书的本科生,和仅获得1750美元奖学金的本科生,前者反而不如后者那么高兴,而且前者后续更不愿意为再次争取奖学金而努力。

这是因为,心理学研究者发现,信息接收者倾向于使用「平均」而非「叠加」的方式来评估信息。

因此,当高价值的商品与低价值的商品捆绑在一起的时候,消费者非但不会觉得获得了更高的收益,反而会贬低商品本来的价值。例如,对于豪华酒店的营销者而言,如果可以提供海景、丝绸床单、按摩浴缸,就不要多嘴提及什么熨衣板或咖啡壶了,否则只是画蛇添足。

事实上,投稿人们并非不懂这个道理,然而,他们常常需要面对审稿人的挑战。现在几乎很少有投稿可以不被审稿人提出大量关切,这些关切点从主要到次要,有时固然深刻,有时却不免荒谬。

投稿人当然可以对不合理的审稿意见提出反驳,但鉴于出版竞争越来越激烈,更安全的做法是,为了回应审稿人的疑虑,投稿人在研究中加入一些新的控制变量,开展一些新的补充测试,添加一些新的参考文献,在讨论部分加几句话表明这可以是未来进一步研究的起点……

哇!到最后,你曾经优雅的论文已经变得非常不同,有时甚至可以说是面目全非!

作者借用了一句经典的格言:如果让一群人一起设计一匹马,最终得到的将是骆驼;而经过审稿团队的共同努力,一只羚羊也会臃肿成一头野牛(a camel is a horse designed by committee, then it may be equally true that a bison is a gazelle bloated by a review team;类似于汉语里的四不像典故)。

有时,编辑和审稿人也不免暗自内疚:哎呀,投稿人明明已经按照我的要求做了一切事情,然而令我自己都感到惊讶的是,我似乎更喜欢第一版,而不喜欢这个修订版本……

作者回顾了《管理学杂志》过去25年的文章演变,据此呼吁简化:少即是多,如果你的研究有三个重大贡献,附赠一个轻微贡献,那么这个轻微贡献将削弱三个重大贡献的价值。

这是因为,在某种程度上,学者也仍是原始生物(academics are, to a certain extent, atavistic creatures),他们同样倾向于使用「平均」而非「叠加」的方式来评估信息。

第一个正在变得越来越复杂的方面是控制变量。数据显示,《管理学期刊》在过去25年里的平均控制变量数量增加了将近3倍。

“感谢您的建议,这是一个很好的观点,我们在修改稿中控制了这种替代解释。”为了回应审稿人的评论,投稿人常在模型中添加一个新的、无关紧要的控制变量。瞧!问题就解决了。任何在重要期刊中发表过文章的人都熟悉这个剧本。然而,实际上,增加一个控制变量的模型未必优于没有这个额外变量的模型。

第二个方面则是补充分析变得越来越冗长。Anthony Nyberg曾说,研究者应该折磨他们的数据,旨在证明他们的假设不是真的,只有当他们无法做到这一点时,他们才有足够的信心发表他们的工作。将数据暴露于各种补充分析和稳健性检验是必不可少的,但很多时候作者报告了许多几乎没有什么价值的补充分析。

过度测试的大部分责任应归咎于期刊守门人。审稿人越来越多地要求进行补充分析,例如稳健性检查、内生性问题可能性检查。

事实上,如果你在投稿中有过几次同行评审经历,你可能甚至会好奇,管理学领域是不是专门培养了整整一代或甚至两代痴迷于稳健性和内生性的审稿人。

今天的投稿人几乎在投稿前就可以确信,无论他们已经做了多少稳健性测试,审稿人必将要求他们补充更多额外的稳健性测试。这种心理预期倒逼投稿人采取一些特别的对策,比如,如果我做了6项分析,那么我先扣留2项,只提交4项,等到审稿人提出了要求时,我可以通过提交剩下的2项来抚慰审稿人。

作者讽刺道,这种投稿人与审稿人之间的拉锯战,恐怕会令博弈论的专家都感到大受震撼,并激发起他们的研究兴趣。任何理智的人都不会把这种模式视为学科发展的健康动力。

而且,今天的审稿人似乎尤其热衷于要求作者确定工具变量。作者可能会回复说,为了解决这个问题,他们确定了某某工具变量。您瞧!它减少了内生性担忧,终于解脱了!然而,一个肮脏的小秘密是,某些投稿人可能在投稿前已经测试了5个、10个或更多变量,最终选出一个令人满意的变量。再说一遍,任何理智的人都不会觉得这是一种健康的状况。

此外,文章还讨论了假设、子研究、字数、图表、参考文献并不是越多越好(感兴趣的朋友可参阅原文),并建议投稿人应该考虑到,一些附加的内容可能不像核心内容那样具有高质量,而评估者更常以平均方式来评估这些信息的价值,因此这种形式的添加就像往好酒里添加水一样。

最后,作者还是忍不住善良地提醒了一下投稿人:众所周知,你和审稿人的权力是不平等的,如果你按这篇社论所说的一样坚持优雅和简约,是有可能被拒稿的哟~[可爱]

来源:Connelly, B. L., Ketchen, D. J.,& Zhou, Y. S. (2023). The presenter’s paradox: More is not always better. Journal of Management, 49(7), 2208–2217. doi: 10.1177/01492063231155982
欢迎新用户

正在加载,请稍候...