语料库

严守一把手机关上 — 严守一 把 手机 关上 –德语中大多数的词语有空格分割，但是复合名词写成单独的词 •Lebensversicherungsgesellschaftsangestellter 人身保险公司的雇员 – database – data base harddisk – hard disk 2020/11/17 中文信息处理 基于语料库的工作 20 标记化：什么是一个词

tence Number in English TextSe n ten ce Nu m b e r in Ch in e se Te xt BInformation Retrieval Lab HIT 20 段落重组对齐 总体思想  篇章定位  句长搭配  词典校对 Information Retrieval Lab HIT 21 形式对齐评价函数  P[i,j] = a(Pu[i

ching and replacing all • $line=~s/^\s*$//g。 matching and replacing all • $line=~s/\\s{0,}/\s/g。 matching and replacing all • $line=~s/\\s\n/\n/g。 matching and replacing all • $line=~s/\Z\n//g。