谷歌AI拼写错误根源：LLM不识字

谷歌的AI Overview功能近期再次成为科技圈热议的焦点，但这次并非因为其强大的生成能力，而是因为它暴露出的基础拼写问题。当用户询问“Google”一词中有几个字母“p”时，AI给出的答案是两个；当被问及“poop”一词中字母“r”的数量时，它回答“正好一个”；对于“journalism”这个词，AI甚至将其拼写成了“j-o-u-r-n-a-d-i-s-m”。这些令人啼笑皆非的错误，将大型语言模型（LLM）一个长期存在的结构性弱点推到了聚光灯下。

这并非谷歌AI Overview首次翻车。早在该功能首次上线时，它就曾引用讽刺网站《洋葱新闻》和Reddit上的恶搞帖文，建议人们吃石头和在披萨上涂胶水。如今，随着谷歌将生成式AI作为其拥有29年历史的旗舰搜索产品的核心，类似的基础错误再度出现，似乎并不令人意外。谷歌在一份声明中向TechCrunch坦言：“单词内的计数对LLM来说一直是一个已知的挑战，我们正在努力修复这个特定问题。”

这些看似小儿科的拼写错误，实际上揭示了LLM工作原理的深层本质。长期以来，科技界一直流传着一个玩笑：每当有公司发布新AI模型时，你应该问它“strawberry”这个词里有几个字母“r”。结果往往是，这些能够在几秒钟内编写应用程序、或解决困扰数学家数十年的难题的AI，在拼写方面的表现与幼儿园小朋友不相上下。

问题的根源在于LLM的底层架构。正如阿尔伯塔大学的AI研究员兼助理教授Matthew Guzdial所解释的，基于Transformer架构的LLM本质上并不“阅读”文本。当用户输入一个提示时，它会被翻译成一种编码。当模型看到单词“the”时，它拥有的是关于“the”这个整体含义的一套编码，但它并不知道构成这个单词的字母“T”、“H”和“E”。

具体而言，许多LLM采用分词器（Tokenizer）将文本分解为“令牌”（Tokens）。这些令牌可以是完整的单词、音节，甚至是字母，具体取决于模型的设计。AI并非像人类一样逐字阅读，而是将文本转化为自身的数值表示，然后通过上下文关联来生成符合逻辑的回复。这种基于令牌的架构，使得模型在处理字母级别的任务时，天生就存在局限性。

谷歌AI Overview的问题并不仅限于拼写错误。上周，谷歌已经修补了一个问题：当搜索“disregard”一词时，搜索结果会显示一个看似字典释义的条目，但释义内容却是“明白。当您有新提示或问题时请告诉我！”这种将AI训练指令误当作搜索结果的错误，与拼写问题一样，都反映出AI对语言本质的理解与人类存在根本差异。

更令人担忧的是，研究人员对彻底解决这一拼写问题并不乐观。由于LLM的架构限制，它们无法像人类一样将单词视为由字母组成的语言单元。这意味着，即便通过后处理或规则修正来掩盖部分错误，但要从根本上让AI学会“拼写”，可能需要对模型架构进行颠覆性的改变。因此，在可预见的未来，当你问AI“Google”怎么拼时，它可能依然会给出一个让你哭笑不得的答案。