搜索
当前位置: 眀彩娱乐 > 动态词频 >

齐夫定律:描述词频分布规律的强大数学工具

gecimao 发表于 2019-04-13 14:50 | 查看: | 回复:

  【环球科技报道】据美国《物理学家组织》网站报道,西班牙巴塞罗那自治大学数学研究中心的研究者最近使用数学和统计学的专业知识,对齐夫定律(Zipfs law)进行了严格的研究。他们使用了古登堡计划(the Project Gutenberg)的数据库古登堡计划是一项将版权过期的英语书籍电子化的互联网计划,包含3万多篇英语文本,可以免费获取。这么大规模的研究在该领域前所未有,此前的研究大多只采用几十篇文本的数据集。

  分析结果表明,如果除去少数只出现了一两次的词语,有55%的文本完全地符合齐夫定律,而如果考虑所有的词语,仍然有40%的文本完全符合齐夫定律。该研究的负责人科拉尔ral)称,如果进一步忽略只出现3至5次的词语,符合齐夫定律的文本数还会更多。

  研究者使用古登堡数据库(包含31075本书)对齐夫定律最常见的三种表述形式进行了验证,发现所有作品,有的只有100个字,有的则有100多万字,它们中的超过40%都符合三种表述中的一种,结论具有统计显著性(p>

  0.05)。“虽然齐夫定律会引发一些争议,但它总是能在具体的例子中找到依据,”科拉尔说,“如今,在大数据和高性能计算机的时代,我们需要对它进行大规模的分析,这项研究就是关键的一步。”

  齐夫定律是美国语言学家齐夫(G.Zipf)在对莎士比亚等作家的作品进行数理统计后于1935年提出的词频分布定律。该定律发现了在按频率递减顺序排列的频率词表中,单词的频率与它的序号之间存在“幂律”(power law)关系,即如果把单词按使用频率排序,那么使用频率与序号之间几乎恰好成反比。用通俗语言表述齐夫定律,就是说如果把一段文字中的所有词语按出现频率从高到低排列起来,排第二的词语其出现频率就约为第一的一半,排第三的词语出现频率就约为第一的三分之一,以此类推,排第n的词语出现次数约为第一的1/n。

  其实齐夫定律最一般的表述形式还包含一个指数a,即排第n的词语出现次数约为第一的1/n^a,这让公式变得稍稍复杂了一点。不过代入实际数据拟合后,a的值其实非常接近1(就相当于没有这个指数了)。还有其他在数学上更为复杂的表述,但都只包含一个自由参数。后来,经过学者们的多次修正和改进,齐夫定律有了更为精确的表述和更为广泛的应用。例如,“分形几何之父”曼德布罗特(B.Mandelbrot)于1952年对该定律进行了修订,增加了几个参数,使其更符合实际的情形。

  齐夫定律表明:在英语单词中,只有极少数的词被经常使用,而绝大多数词很少被使用。实际上,包括汉语在内的许多国家的语言都有这种特点。现实世界在相当程度上是具有惰性的,动态过程总能找到能量消耗最少的途径,人类的语言经过千万年的演化,最终也具有了这种特性,词频的差异有助于使用较少的词语表达尽可能多的语义,符合语言的经济原则。齐夫定律不仅对报刊、《圣经》有效,而且对狄更斯的小说、莎士比亚的戏剧等也有效,且幂指数均约等于1。目前,语言学的词频分布研究已经成为一个热点方向,是幂律研究领域的一个重要内容。

  前不久,中国江南大学的研究者以诺贝尔文学奖得主莫言的《红高粱》《蛙》和《透明的红萝卜》为主要研究对象,采用字频统计软件和汉语词频统计软件,统计莫言作品中字频、词频,发现都能满足齐夫定律。所得结果与包括英语、西班牙语、法语等在内的多种语言研究结果一致。这项研究从统计学角度提供了莫言可以成为中国大陆首位诺贝尔文学奖得主的可能原因之一。

  研究词频分布对编制词表、制定标引规则、设计情报系统、分析作者著述特征、进行词汇分析与控制等都具有重要意义和应用价值。例如,由齐夫定律可知,只要掌握一种语言中的1000个最常用词,就有可能读懂该语言文章的80%。这个事实对于语言教学以及自然语言信息处理都是十分重要的。经验表明,中频词往往是包含大量有检索意义的关键词;而一篇文献全文输入计算机后,计算机是很容易检出中频词的。因此,词频分布也是文献自动分类、自动标引的研究对象。

  自然语言,无论是英语还是汉语,甚至其他语种,为什么词频与序号之间会有如此惊人的幂律关系呢?许多学者就这一问题做了各种有益的探索,都试图对这种现象做出哲学上、数学上或经验上的合理解释。但到目前为止,尚未取得可为大家所接受的解释,这也从另一方面说明了问题的复杂性。不过,齐夫定律已经在语言学、情报学、地理学、经济学、信息科学等领域有了广泛的应用,而且取得了不少可喜成果。

  中国数学家和语言学家周海中曾经指出:齐夫定律是描述词频分布规律的强大数学工具;作为经验定律,它仍有不足之处,有待进一步完善。或许这道出了齐夫定律的重要作用和未来发展。(作者:马齐勇博士 美国奥斯汀得克萨斯大学)

  奥巴马执政时期幕僚卷入通俄调查案中案

本文链接:http://hem-larm.com/dongtaicipin/35.html
随机为您推荐歌词
推荐文章

联系我们 | 关于我们 | 网友投稿 | 版权声明 | 广告服务 | 站点统计 | 网站地图

版权声明:本站资源均来自互联网,如果侵犯了您的权益请与我们联系,我们将在24小时内删除。

Copyright @ 2012-2013 织梦猫 版权所有  Powered by Dedecms 5.7
渝ICP备10013703号  

回顶部