翻电Special chatGPT深度评测，人工智能霸权来了吗？ VOL.111

野唠三三:现在就去安

pekingcat

:啊！你做的！

pekingcat

:还真是，我还没这么想呢

horng:有道理

pekingcat

:我觉得你说的这个特别好，也很准确，GPT的方法就是用尽可能多的能指排列，寻找能指排列的某种模式，在46T数据量之下，他可能觉得已经尽可能穷尽了能指排列的多样性，这个模型是一点都不进入所指层面的，所以和人的语言使用完全不同。这就是用语词当棋子下能指游戏的一个模型。

lx_xl:索绪尔在这里意外的很有解释力

pekingcat

:这种真的是好用的

pekingcat

:开始确实念串了，这个名字也是绕口令

HD209189g:Generative Pretrained Transformer, 如果了解全称应该就不会念错了

pekingcat

:正常人在对话上还是更好的，至少能十多二十句

nowlistenwat:没关系，毕竟否定一个还算不上强智能的软件不代表就自然认可了活生生的语言低能者，很多那样的人在C-GPT之前只值得应付了事，在牠之后也不会变。

horng:还有就是别特么老玩围棋这么局限的游戏，把这作为职业为其奋斗一生更是扯淡。就像是我把口算心算当成一种武功练了几十年，但其实不会对其他事务和社会产生任何影响，仅是一种otaku游戏

nowlistenwat:我粗浅想象，如果未来这类算法缺乏监管或者政策的干预，很可能很多低水平的人不会因此更努力精进，而是会有更多千奇百怪无底线的坑蒙拐骗方式，甚至——有能力的人也骗三分，以保护自己担心有可能被侵害的利益。

pekingcat

:这个可能还不行，他们的话其实都挺刁钻的。谢谢公文完全没问题

nowlistenwat:不可能，那种bullshit like的话语反而是最严谨的——出一次错仕途就完了呀

民俗素人冯小黏:小李朋友圈好像说过不跟机核合作了

俞童August:不了解，为啥啊

pekingcat

:口误

好想回到那个夏天:还有点梁文道的感觉

pekingcat

:这个attention是什么意思？

皮卡丘本丘:T是指transformer，我认为transformer里面最重要的机制是attention，即注意力更多的放在什么词的关联上，比如my dog is cute直观感受是dog&cute的关系更大，dog&is的关系不大，有所侧重的attention可以反应出语意，对于神经网络来说输入为向量a1 a2 a3 a4，每个ai分别有向量qi ki vi，dog&cute关系大即q2点乘k4大（向量夹角小），一般来说qi ki vi不止一组，也就是每个词的特征不止一个。我说扩大attention的范围不是一个准确的说法，我不是做自然语言处理方向的，也不懂GPT具体的结构，以下只是猜测。如果说要建立笔和枪的联系，最粗暴的方式是建立1w个单词的attention，通过pen&power的attention和gun&power的attention来关联pen&gun的attention，但如果所有的单词都要这么做计算量非常大，因为每个词的每个q都要和其他词的所有k进行计算，对于一个简单的问句应该只是就事论事。但是每个词的q k v可多可少，增加qkv可能可以看出来联系。通常认为增加网络深度（多做几次attention）也有助于理解语义。以及deformable attention可能可以通过有倾向性的注意力实现深层语义关联。gpt不会更新自己的观点应该是因为模型参数不能适时调整（没查到），它无法从对话中学到新的信息来做出新的决策。gpt不能理解风格之类的东西，对深层语义理解欠缺大概是因为attention机制不能完备地形容语言，人对思考的机制的理解依然很肤浅。