这两天一直在学习用python进行自然语言处理这本书,当然开始的开始就是要学习python这门脚本语言,遇到了利用自己的语言对一段英文文本进行分词这个问题,找了好多资料都没有找到具体的解答,自己修修改改终于解决了,分享出来,大家共勉,如果有更好的代码或者算法,大家也可以共同的交流一下。也是希望以后在学习的童鞋们可以有个参考,不至于像我一样摸不着头脑。
利用python对一段英文文本进行分词:
# coding:gbktxt=open("XXXXX")#括号里面的是是你的txt文本的具体路径readl=txt.readline()#一行一行的读文本whilereadl:ff=str(readl)#强制类型转换,因为readline()函数读出来的是list类型的,要用split()函数就要是string类型
print(ff.split(' '))readl = txt.readline()txt.close()
运行出来的结果就是一个一个单词用单引号括起来的单词了,包括空格和标点符号。
利用python对一段英文文本进行分句:
importcodecstxt=open("XXXXX")lis=""#建立一个空的列表存储读取的字符串forlineintxt:li=line.strip("\n") lis=lis+lilis=lis+''#在每个读取出来的字符后面加空格,分开每个单词lis.strip('')liss=lis.split(".")forhinliss:ifh =='':continueh.strip('')h=h+'.'#在读出的每个句子的最后加上英文句号print(h)
如果觉得《利用python对一段英文文本进行分词 分句》对你有帮助,请点赞、收藏,并留下你的观点哦!