首页 百科知识 我对当今分词方法的看法

我对当今分词方法的看法

时间:2022-09-17 百科知识 版权反馈
【摘要】:说句心里话,我很不赞成现在分词方法所走的路,用没有智能的程序对语句分来分去,不可能不出现各种问题。机械分词已经呈现出它的缺点,甚至可以说是无法破解的死结。我们还用“离散编程法”,我们还是让程序自己学习,让它自己读大量的语言资料,用自己的智能找出语言中各种识别语义的规律。下面一小节的内容已经偏离“离散编程法与智能元操作”的主题,如果您对分词方面的内容不感兴趣,可以结束对本文的阅读。

说句心里话,我很不赞成现在分词方法所走的路,用没有智能的程序对语句分来分去,不可能不出现各种问题。而为了解决问题,为了找出一个十全十美的解决方案来,人们又不得不研究各种容易产生歧义的例句。但是由于人类语言和人类交流习惯相关,各种特例又会找不胜找,搞得人们晕头转向,仍不得要领。于是人们走入了“未曾出师身先死”的悲惨境界。还没拿出好的分词方案,就被各种歧义例句搅得头昏脑涨,呜呼哀哉了。

机械分词已经呈现出它的缺点,甚至可以说是无法破解的死结。我对统计语言模型、人工神经网络语言模型也都不看好。认为只有引入智能来帮助语义识别,来帮助理解语言,才能拯救它。

而我认为模拟智能只有用“离散编程法”最为有效。而且模拟智能离不开“离散学习理论”。

结合着“离散编程法”和“离散学习理论”我给出一个分词的例子,只是为了展示一下,“离散编程法”、“离散学习理论”编写的程序与其它方法编写的程序区别在哪里。这就是“学习分词程序”出台的初衷。

我根本就没有认为,这个“学习分词程序”能够在解决分词的一些难题上,有多大贡献。因为它还仅仅限于机械分词的范畴,俗话说“水大漫不过天”,一个无智能的、主要靠“比较检索操作”工作的程序,不可能有多大作为。别对它有多大的期望值。

这个程序的唯一进步,就是它能够自己扩充自己的词库,以应对自己还不能应对的情况。它不完善,但是它很机灵,它遇到解决不了的难题,就会把难题通知给操作者,然后转入学习阶段。进行学习。

你说这个程序不行,它就会承认自己不行,但是它会“说”:我可以学,你教教我。这就是它胜过任何其它程序的高明之处。

你若问,那么多难题能不能解决?我回答是一定能。但是不能再靠机械分词了。要引入智能,由智能主管语言理解工作。我们还用“离散编程法”,我们还是让程序自己学习,让它自己读大量的语言资料,用自己的智能找出语言中各种识别语义的规律。这样它不仅能够准确地分词,还能够在理解语言的基础上和我们交流。

但是,有那么几天我也糊涂了,在机械分词里搅了好几天。现在终于清醒了。下决心废掉几个机械分词的帖子。走用智能理解语言的光明大道。

整理者注:

下面一小节的内容已经偏离“离散编程法与智能元操作”的主题,如果您对分词方面的内容不感兴趣,可以结束对本文的阅读。


免责声明:以上内容源自网络,版权归原作者所有,如有侵犯您的原创版权请告知,我们将尽快删除相关内容。

我要反馈