知识文章 · 编写日期 2026-11-10
操鼻语料笔记：词次和词种是一回事吗
不是。词次把每一次出现都计入，词种只统计按既定规则区分出的不同词形。同一句重复一遍，词次可翻倍，词种却不增加；因此不能把词种多、出现次数多和使用更广泛写成同一个结论。
操鼻语境学习栏目的小型语料方法练习，不采集真实争执记录，也不声称统计了该词的流行度。为避免中文分词差异，算例使用本站原创英文短句，明确按空格分词、统一小写、不计标点。
先说明计数单位，再填数字
Lancaster语料教学区分token与type，并以type数除以token数说明型次比TTR。这里词次是文本中的出现位置总数；词种则把重复词形合并后计数，二者分母与用途不同。
若要分析操鼻这类表达，仍须先界定把完整表达作为一项，还是使用某套分词规则。不同切分策略算出来的数字不能直接并表，本文的小句只是计数示范，不将英文规则冒称通用中文分词标准。
这里token按语料语言学中的词次定义；模型接口的token可能是子词等编码单位。本文没有用语言模型分词器，也不能用8这个词次结果推算接口用量。
原创八词句：三个the仍是一个词种
教学句为“the cat saw the dog and the cat”。依次有8个词次；不同词形是the、cat、saw、dog、and，共5个词种。the出现3次，cat出现2次，另三个各出现1次，合计8。
因此本例TTR为5÷8=0.625，也可写62.5%。它只描述这份明确切分文本中的不同词形比例，不是词语受欢迎程度、读者理解率或某人的语言能力分数。
复制一遍，词次翻倍却没有新词种
把同一句紧接着完整重复一次，词次变16，词种仍是原5个，TTR变为5÷16=31.25%。图中第二行不是收集了另一位发言者，只是把自拟文本重复排了一遍。
这个对照说明文本长度与重复会影响简单TTR。Lancaster教学资料提醒，不能用普通TTR直接比较不同长度文本的词汇多样性；即使先统一长度，也还需明确抽样和文本类型，不能由一个比例包办质量判断。
用于语境笔记时保留原样和规则
一张可复核笔记可分为原始文本、切分规则、词次、词种和解释边界五栏。转小写、是否保留符号、是否把不同词形合并，应说明实际做法；否则读者按另一套规则复算时，数字不同也未必是加法错误。
研究特定表达的传播还需要独立出处、作者或发言单位等证据。重复同一份转录不能增加独立发言者数，词次也不自动等于人数。公开练习可用无伤害性的自拟句，不为演示统计反复扩散冒犯话语。
动手核对
- 先写切分、大小写与标点处理规则。
- 分别统计所有出现位置与不同词形。
- 计算TTR时保留文本长度，避免把它解释成人数或流行度。
常见问题
the出现三次，是三个词种吗？
本例按相同词形合并，它是三个词次、一个词种。
把句子复制一次，词种会翻倍吗？
不会增加新词形，本例仍5种；词次从8变16。
依据与延伸阅读
- Lancaster：LancsBox X Text练习（Lancaster University，LancsBox教学材料，核验日期 2026-11-10）
TTR为types除以tokens，简单TTR不宜直接比较不同长度文本。