未登录词补充方法

3．3．2　未登录词补充方法

为防止初期词表构造方法造成的普通词及新词的丢失严重现象，笔者采用碎片整理方法，进行普通词的增补。

（1）分别从原始语料集各类中随机抽取约1/3（共6万条）的文本，用前述词典进行切分，保留抽取后的碎片（以“｜”表示已抽出关键词位置），示例如下：

中国“六大绸都”出炉（235字），国家茧｜办、中国｜协会授予苏州、吴江“中国绸都”的｜｜。同时被授予“中国绸都”｜｜的还有杭州、嘉兴、无锡、湖州。＾｜业是苏州、吴江的｜，仅近几年，当地开发的近百种｜就在国内外获奖，如吴江最新开发的“｜”真｜、“美丝达”｜｜｜系列，在目前中国规模最大、档次最高的｜专业会展——中国｜｜上获“全国｜｜金奖”。＾据悉，吴江是六大中国绸都中唯一一个县级市。

（2）采用中科院计算所汉语词法分析系统ICTCLAS对碎片进行再分词，结果如下：

中国/n　“/w　六/m　大/a　绸都/n　”/w　出炉/v　（/w 235/m　字/n　）/w　日前/t　，/w　国家/n　茧/n　｜/n　办/j、　/w　中国/n　｜/n　协会/n　授予/v　苏州/n　、/w　吴江/n　“/w　中国/n　绸都/n　”/w　的/u　｜｜/n　。/w　同时/c　被/p　授予/v　“/w　中国/n　绸都/n　”/w　｜｜/n　的/u　还有/v　杭州/n　、/w　嘉兴/n　、/w　无锡/n　、/w　湖州/n　。/w　＾｜/n　业/k　是/v　苏州/n　、/w　吴江/n　的/u　｜/n　，/w　仅/d　近/a　几/m　年/q　，/w　当地/s　开发/v　的/u　近/a　百/m　种/q　｜/n　就/d　在/p　国内外/s　获奖/v　，/w　如/v　吴江/n　最新/a　开发/v　的/u　“/w　｜/n　”/w真/d　｜/n　、/w　“/w　美/j　丝/n　达/v　”/w　｜｜｜/n　系列/n　，/w　在/p　目前/t　中国/n　规模/n　最/d　大/a　、/w　档次/n　最高/a　的/u　｜/n　专业/n　会展/j　——/m中国/n　｜｜/n　上/m　获/v　“/w　全国/n　｜｜/n　金奖/n”　/w　。/w　＾/n　据悉/v　，/w　吴江/n　是/v　六/m　大/a　中国/n　绸都/n　中/a　唯一/b　一个/m　县级/b　市/n。/w

（3）合并切分结果，并进行词频及词长统计，设置高频、低频去除阈值，仅保留词长在2～6个汉字且标记为名词的词条共13　242条，补充进原初始词典，作为处理前的词典备用（因主题分类需要，期间使用地名词典进行了地名剔除）。补充的部分关键词示例：

存储　保藏业　储粮　公物仓　货仓式　储备　储备库　绸都

散粮筒仓　战略储备　库容　库存　储粮基地　储量　集散地

无配额　准入优惠　待遇　冷箱　春兰　格林柯尔　……