AndthenameofthisgodwasMoloch. Bitofabummer, asstoriesgo.

这尊神的名字叫摩洛克。故事讲下去就有点扫兴了。

Inalltheseexamples, theshort-termincentivesofthegamesthemselvesarepushing, they'retemptingtheirplayerstosacrificemoreandmoreoftheirfuture, trappingtheminadeathspiralwheretheyallloseintheend.

在这些例子中，游戏本身的短期激励措施是在鼓动，引诱玩家牺牲越来越多的未来，陷入死亡螺旋中，最终全盘皆输。

That'sMoloch'strap. Themechanismofunhealthycompetition.

那是摩洛克的陷阱。不良竞争的机制。

AndthesameisnowhappeningintheAIindustry.

AI行业中也正在上演。

We'reallawareoftheracethat'sheatingupbetweencompaniesrightnowoverwhocanscorethemostcompute, whocangetthebiggestfundingroundorgetthetoptalent.

我们都知道公司间的竞争正热火朝天，竞争最高算力、最高融资、最优人才。

Well, asmoreandmorecompaniesenterthisrace, thegreaterthepressureforeveryonetogoasfastaspossibleandsacrificeotherimportantstufflikesafetytesting.

随着越来越多公司加入竞争，每个人都面临着更大的压力，迫使他们尽可能快地动起来，牺牲安全测试等重要事项。

ThishasallthehallmarksofaMolochtrap.

这就是摩洛克陷阱的所有特征。

Because, like, imagineyou'reaCEOwho, youknow, inyourheartofhearts, believesthatyourteamisthebesttobeabletosafelybuildextremelypowerfulAI.

因为想象一下你是一位 CEO，你内心深处相信你的团队是能够安全地打造极其强大的 AI的最佳人选。

Well, ifyougotooslowly, thenyouruntheriskofother, muchlesscautiousteamsgettingtherefirstanddeployingtheirsystemsbeforeyoucan.

如果你动作太慢，那你就会面临其他不那么谨慎的团队先行一步，在你之前部署他们的系统。

Sothatinturnpushesyoutobemorerecklessyourself.

因此，这反过来又会促使你自己更冲动行事。

Andgivenhowmanydifferentexpertsandresearchers, bothwithinthesecompaniesbutalsocompletelyindependentones, havebeenwarningusabouttheextremerisksofrushedAI, thisapproachisabsolutelymad.

有多少专家和研究人员，包括这些公司的职员，还有完全独立的人士，一直在警告我们警惕仓促发展的 AI带来的极端风险，这种做法简直太疯狂了。

Plus, almostallAIcompaniesarebeholdentosatisfyingtheirinvestors, ashort-termincentivewhich, overtime, willinevitablystarttoconflictwithanybenevolentmission.

此外，几乎所有 AI公司都必须满足投资者的要求，这种短期激励措施随着时间的推移，将不可避免地开始与任何“圣母”使命发生冲突。

Andthiswouldn'tbeabigdealifthiswasreallyjusttoasterswe'retalkingabouthere.

如果我们在这里谈论的真的只是面包机，那也没什么大不了的。

ButAI, andespeciallyAGI, issettobeabiggerparadigmshiftthantheagriculturalorindustrialrevolutions.

但是，AI，尤其是 AGI（通用人工智能），必将带来比农业或工业革命更大的范式转变。

Amomentintimesopivotal, it'sdeservingofreverenceandreflection, notsomethingtobereducedtoacorporateratraceofwhocanscorethemostdailyactiveusers.

这是个关键时刻，需要敬意和反思，不能简化成企业间你死我活的竞争，比拼谁能获取更多的日活跃用户。

I'mnotsayingIknowwhattherighttrade-offbetweenaccelerationandsafetyis, butIdoknowthatwe'llneverfindoutwhatthatrighttrade-offisifweletMolochdictateitforus.

我并不是说我知道加速发展和安全之间权衡取舍的正确答案，但我确实知道，如果我们受制于摩洛克，我们将永远找不到正确的权衡取舍。