数学应用-繁与简 自然语言处理的几位精英

发表者：吴军，Google 研究员

我 在数学之美系列中一直强调的一个好方法就是简单。但是，事实上，自然语 言处理中也有一些特例，比如有些学者将一个问题研究到极致，执著追求完善甚 至可以说 完美的程度。他们的工作对同行有很大的参考价值，因此我们在科研 中很需要这样的学者。在自然语言处理方面新一代的顶级人物麦克尔 · 柯林斯 ( Michael Collins ) 就是这样的人。

柯林斯：追求完美

柯 林斯从师于自然语言处理大师马库斯 (Mitch Marcus)（我们以后还会多次提 到马库斯），从宾夕法利亚大学获得博士学位，现任麻省理工学院 (MIT) 副教 授（别看他是副教授，他的水平在当今自然语言处理领域是数一数二的），在作 博士期间，柯林斯写了一个后来以他名字命名的自然语言文法分析器 (sentence parser)，可以将书面语的每一句话准确地进行文法分析。文法分析是很多自然 语言应用的基础。虽然柯林斯的师兄布莱尔 (Eric Brill) 和 Ratnaparkhi 以 及师弟 Eisnar 都完成了相当不错的语言文法分析器，但是柯林斯却将它做到了 极致，使它在相当长一段时间内成为世界上最好的文法分析器。柯林斯成功的关 键在于将文法分析的 每一个细节都研究得很仔细。柯林斯用的数学模型也很漂 亮，整个工作可以用完美来形容。我曾因为研究的需要，找柯林斯要过他文法分 析器的源程序，他很爽快地 给了我。我试图将他的程序修改一下来满足我特定 应用的要求，但后来发现，他的程序细节太多以至于很难进一步优化。 柯林斯的 博士论文 堪称是自然语言处理领域的范文。它像一本优秀的小说，把所有事情的 来龙去脉介绍的清清楚楚，对于任何有一点计算机和自然语言处理知识的人，都 可以轻而易举地读懂他复杂的方法。

布莱尔：简单才美

在研究方法上，站在柯林斯对立面的典型是他的师兄艾里克 · 布莱尔 ( Eric Brill ) 和雅让斯基，后者我们已经介绍过了，这里就不再重复。与柯林斯从工

业界到学术界相反，布莱尔职业路径是从学术界走到工业界。与柯里斯的研究方 法相反，布莱 尔总是试图寻找简单得不能再简单的方法。布莱尔的成名作是基 于变换规则的机器学习方法 (transformation rule based machine learning)。 这个方法名称虽然很复杂，其实非常简单。我们以拼音转换字为例来说明它：

第一步，我们把每个拼音对应的汉字中最常见的找出来作为第一遍变换的结果， 当然结果有不少错误。比如，“常识”可能被转换成“长识”；

第二步，可以说是“去伪存真”，我们用计算机根据上下文，列举所有的同音字 替换的规则，比如，如果 chang 被标识成“长”，但是后面的汉字是“识”， 则将“长”改成“常”；

第三步，应该就是“去粗取精”，将所有的规则用到事先标识好的语料中，挑出 有用的，删掉无用的。然后重复二三步，直到找不到有用的为止。

布 莱尔就靠这么简单的方法，在很多自然语言研究领域，得到了几乎最好的结 果。由于他的方法再简单不过了，许许多多的人都跟着学。布莱尔可以算是我在 美国的第 一个业师，我们俩就用这么简单的方法作词性标注 (part of speech tagging)，也就是把句子中的词标成名词动词，很多年内无人能超越。（最后超 越我们的是后来加入 Google 的一名荷兰工程师，用的是同样的方法，但是做得 细致很多）布莱尔离开学术界后去了微软研究院。在那里的第一年，他一人一年 完成的工作比组里其他所有人许多 年做的工作的总和还多。后来，布莱尔又加 入了一个新的组，依然是高产科学家。据说，他的工作真正被微软重视要感谢 Google，因为有了 Google，微软才对他从人力物力上给于了巨大的支持，使得 布莱尔成为微软搜索研究的领军人物之一。在研究方面，布莱尔有时不一定能马 上找到应该怎么 做，但是能马上否定掉一种不可能的方案。这和他追求简单的 研究方法有关，他能在短时间内大致摸清每种方法的好坏。

由于布莱尔总是找简单有 效的方法，而又从不隐瞒自己的方法，所以他总是很 容易被包括作者我自己在内的很多人赶上和超过。好在布莱尔很喜欢别人追赶 他，因为，当人们在一个研究方向 超过他时，他已经调转船头驶向它方了。一 次，艾里克对我说，有一件事我永远追不上他，那就是他比我先有了第二个孩 子 ：）

在接下来了系列里，我们还会介绍一个繁与简结合的例子。

声明: 除非转自他站（如有侵权，请联系处理）外，本文采用 BY-NC-SA 协议进行授权 | 智乐兔
转载请注明：转自《数学应用-繁与简 自然语言处理的几位精英》
本文地址：https://www.zhiletu.com/archives-2808.html
关注公众号：