这两天一直在学习用python进行自然语言处理这本书，当然开始的开始就是要学习python这门脚本语言，遇到了利用自己的语言对一段英文文本进行分词这个问题，找了好多资料都没有找到具体的解答，自己修修改改终于解决了，分享出来，大家共勉，如果有更好的代码或者算法，大家也可以共同的交流一下。也是希望以后在学习的童鞋们可以有个参考，不至于像我一样摸不着头脑。
利用python对一段英文文本进行分词：
# coding:gbktxt=open("XXXXX")#括号里面的是是你的txt文本的具体路径readl=txt.readline()#一行一行的读文本whilereadl:ff=str(readl)#强制类型转换，因为readline（）函数读出来的是list类型的，要用split（）函数就要是string类型
print(ff.split(' '))readl = txt.readline()txt.close()
运行出来的结果就是一个一个单词用单引号括起来的单词了，包括空格和标点符号。
利用python对一段英文文本进行分句:
importcodecstxt=open("XXXXX")lis=""#建立一个空的列表存储读取的字符串forlineintxt:li=line.strip("\n") lis=lis+lilis=lis+''#在每个读取出来的字符后面加空格，分开每个单词lis.strip('')liss=lis.split(".")forhinliss:ifh =='':continueh.strip('')h=h+'.'#在读出的每个句子的最后加上英文句号print(h)
如果觉得《利用python对一段英文文本进行分词 分句》对你有帮助，请点赞、收藏，并留下你的观点哦！
