词性标注介绍

词性 是词汇基本的语法属性, 通常称为 词类

词性标注(part-of-speech tagging) 是在给定句子中判断每个词的语法范畴, 确定其词性并加以标注的过程. 例如:

• 表示人、地点、事物以及其他抽象概念的名称即为 名词
• 表示动作或状态变化的词为 动词
• 描述或修饰名词属性、状态的词为 形容词

词性标注最简单的方法是从预料库中统计每个词对应的高频词性, 将其作为默认的词性. 但这样显然还有提升空间. 目前较为主流的方法是如同分词一样, 将句子的词性标注作为一个序列标注问题来解决, 那么分词中常用的手段, 如隐含马尔科夫模型, 条件随机场模型等皆可在词性标注任务中使用.

在中文中, 一个词的词性很多时候都不是固定的, 一般表现为同音同形的词在不同场景下, 其表示的语法截然不同, 这就为词性标注带来很大的困难; 但是另外一方面, 从整体上看, 大多数词语, 尤其是实词, 一般只有一到两个词性, 且其中一个词性的使用频次远远大于另一个, 即使每次将高频词性选择进行标注, 也能实现 80% 以上的准确率. 如此,若我们对常用的词性能够进行很好地识别, 那么就能够覆盖绝大多数场景, 满足基本的准确度要求.

词性标注规范

• 词性标注需要有一定的标注规范, 如将词分为名词、动词、形容词, 然后用 n、v、adj 等来进行表示.
• 中文领域中尚无统一的标注标准, 较为主流的是以下两类, 两类标注方式各有千秋, 一般任选一种方式即可:
  • 北大词性标注集
  • 宾州词性标注集

北大词性标注集

北大词性标注规范表：

宾州词性标注集

jieba 分词中的词性标注

jieba 词性标注基本思路

类似分词流程, jieba 的词性标注同样是结合规则和统计的方式, 具体为在词性标注的过程中, 词典匹配和 HMM 共同作用。

词性标注流程如下:

1. 首先,基于正则表达式进行汉字判断, 正则表达式如下:

import re

re_han_internal = re.compile("([\u4E00-\u9FD5a-zA-Z0-9+#&\._]+)")

2. 若符合上面的正则表达式, 则判定为汉字, 然后基于前缀词典构建有向无环图, 再基于有向无环图计算最大概率路径, 同时在前缀词典中 找出它所分出的词性, 若在词典中未找到, 则赋予词性为 x (代表未知)。当然, 若在这个过程中, 设置使用 HMM, 且待标注词为未登录词, 则会通过 HMM 方式进行词性标注。
3. 若不符合上面的正则表达式, 那么将继续通过正则表达式进行类型判断, 分别赋予 x、m (数词)、eng (英文)

jieba 词性标注示例

import jieba.posseg as psg

def get_part_of_speech_taging(sentence, HMM = True):
    """
    词性标注
    Params:
        HMM=False: 非 HMM 词性标注
        HMM=True: HMM 词性标注
    """
    segment_list = psg.cut(sentence, HMM)
    tagged_sentence = " ".join([f"{w}/{t}" for w, t in segment_list])
    
    return tagged_sentence


if __name__ == "__main__":
    # data
    sentence = "中文分词是文本处理不可或缺的一步!"
    tagged_sentence = get_part_of_speech_taging(sentence)
    print(tagged_sentence)

Jieba 分词支持自定义词典, 其中的词频和词性可以省略。然而需要注意的是, 若在词典中省略词性, 采用 Jieba 分词进行词性标注后, 最终切分词的词性将变成 x, 这在如语法分析或词性统计等场景下会对结果有一定的影响。因此, 在使用 Jieba 分词设置自定义词典时, 尽量在词典中补充完整的信息.