文本预处理：
假设抓取的数据就是HTML。比如这种：
<div id="container"><div class="corner_top"></div><div class="common_hd clearfix"><div class="fl commend">甲磺酸伊马替尼胶囊<div class="starout"><form class="star-rate-form" action="" methos="post"><input name="star" type="radio" class="star" value="1" title="很差" /><input name="star" type="radio" class="star" value="2" title="较差" /><input name="star" type="radio" class="star" value="3" title="还行" /><input name="star" type="radio" class="star" value="4" title="推荐" /><input name="star" type="radio" class="star" value="5" title="力荐" /></form><span id="starrate-result"></span><span id="drug-starrate-result"></span></div></div><div id="dialog-login"><div>只有认证医师才能评分，请<a href="///login.do?done=http%3A%2F%%2Fdrug%2F92161%2Fdetail.htm"><span style="color:blue"> 登录 </span></a>或 <a href="/doctor/identify?done=http%3A%2F%%2Fdrug%2F92161%2Fdetail.htm"><span style="color:blue"> 认证 </span></a></div></div><div class="fr f12 result-status" id="share"><ul class="ShareThis"><li class="copy"><a href="javascript:void((function(){var href = '/drug/92161/detail.htm'; if(window.clipboardData) { clipboardData.setData('Text', href); alert('复制成功,请粘贴到你的QQ/MSN上推荐给你的好友！'); } else { prompt('你使用的是非IE核心浏览器，请按下 Ctrl+C 复制代码到剪贴板', href); }})())">复制网址</a></li><li class="sina"><a href="javascript:void((function(){var title = '格列卫说明书(甲磺酸伊马替尼胶囊) 格列卫副作用', href = '/drug/92161/detail.htm'; var api = '/share/share.php?appkey=1611508056&ralateUid=2473225961' + '&title=' + encodeURIComponent(title) + '&url=' + encodeURIComponent(href) + '&content=' + (document.charset || 'gbk'); window.open(api, '_blank', 'toolbar=0,status=0,resizable=1,width=440,height=430,' + 'left=' + (screen.width-440)/2 + ',top=' + (screen.height-430)/2 );})())">新浪微博</a></li></ul></div></div><div class="common_bd clearfix"><div class="common_mainwrap fl"><div class="common_main mr260"><div class="m49 detail detail1"><dl><dt><span class="fl">药品名称:</span></dt><dd>通用名称：甲磺酸伊马替尼胶囊<br/>英文名称：Glivec (Imatinib Mesylate Capsules)<br/>商品名称：格列卫<br/></dd><dt><span class="fl" id="2">成份:</span></dt><dd>本品活性成份为甲磺酸伊马替尼。 </dd><dt><span class="fl" id="3">适应症:</span><a href="#3" onclick="showDrugDetail(this,92161,3)" class="bg fr"></a></dt><dd id="92161_3">用于治疗费城染色体阳性的慢性髓性白血病（Ph+ CML）的慢性期、加速期或急变期；用于治疗不能切除和/或发生转移的恶性胃肠道间质瘤（GIST）的成人患者；联合化疗治疗新诊断的费城染色体阳性急性淋巴细胞... </dd><dd id="92161_3_detail" style="display:none">该信息登录才能查看，请<a href="///login.do?done=http%3A%2F%%2Fdrug%2F92161%2Fdetail.htm"><font color="red">登录</font></a></dd><dt><span class="fl" id="4">用法用量:</span><a href="#4" onclick="showDrugDetail(this,92161,4)" class="bg fr"></a></dt><dd id="92161_4">治疗应由对恶性肿瘤患者有治疗经验的医师进行。甲磺酸伊马替尼应在进餐时服用，并饮一大杯水，以使胃肠道紊乱的风险降到最小。通常成人每日一次，每次400mg或600mg，以及日服用量800mg即400mg剂... </dd><dd id="92161_4_detail" style="display:none">该信息登录才能查看，请<a href="///login.do?done=http%3A%2F%%2Fdrug%2F92161%2Fdetail.htm"><font color="red">登录</font></a></dd><dt><span class="fl" id="14">不良反应:</span><a href="#14" onclick="showDrugDetail(this,92161,14)" class="bg fr"></a></dt><dd id="92161_14">晚期恶性肿瘤患者可能会出现相互混杂的临床症状，但由于它们与潜在疾病、疾病本身进展、以及同时服用多种药物有关，因此常难以明确它们的因果关系。 一般来说，包括儿科在内的CML患者长期每日口服本品的耐受性较... </dd><dd id="92161_14_detail" style="display:none">该信息登录才能查看，请<a href="///login.do?done=http%3A%2F%%2Fdrug%2F92161%2Fdetail.htm"><font color="red">登录</font></a></dd><dt><span class="fl" id="12">禁忌:</span></dt><dd>对本药活性物质或任何赋形剂成份过敏者禁用。 </dd><dt><span class="fl" id="13">注意事项:</span><a href="#13" onclick="showDrugDetail(this,92161,13)" class="bg fr"></a></dt><dd id="92161_13">已有报道，本品治疗的患者有明显的左心室射血分数（LVEF）减少，以及充血性心力衰竭的症状。在动物实验中显示，c-ABL酶抑制剂能引起心肌细胞的强烈反应，大鼠的致癌性试验中，已有心肌疾病的报道。因此，对... </dd><dd id="92161_13_detail" style="display:none">该信息登录才能查看，请<a href="///login.do?done=http%3A%2F%%2Fdrug%2F92161%2Fdetail.htm"><font color="red">登录</font></a></dd><dt><span class="fl" id="6">药物相互作用:</span><a href="#6" onclick="showDrugDetail(this,92161,6)" class="bg fr"></a></dt><dd id="92161_6">可改变伊马替尼血浆浓度的药物CYP3A4抑制剂： 健康受试者同时服用单剂酮康唑（CYP3A4抑制剂）后，伊马替尼的药物暴露量显著增加（平均最高血浆浓度（Cmax）和伊马替尼曲线下面积（AUC）可分别增... </dd><dd id="92161_6_detail" style="display:none">该信息登录才能查看，请<a href="///login.do?done=http%3A%2F%%2Fdrug%2F92161%2Fdetail.htm"><font color="red">登录</font></a></dd><dt><span class="fl" id="48">临床试验:</span><a href="#48" onclick="showDrugDetail(this,92161,48)" class="bg fr"></a></dt><dd id="92161_48">以下均为国外研究报道。慢性髓性白血病临床研究 对Ph+慢性髓性白血病急变期、加速期和经α-干扰素（INF）治疗失败的慢性期患者进行了三项开放、非对照性的II期临床研究。在一项大规模、开放、对照的III... </dd><dd id="92161_48_detail" style="display:none">该信息登录才能查看，请<a href="///login.do?done=http%3A%2F%%2Fdrug%2F92161%2Fdetail.htm"><font color="red">登录</font></a></dd><dt><span class="fl" id="27">毒理研究:</span><a href="#27" onclick="showDrugDetail(this,92161,27)" class="bg fr"></a></dt><dd id="92161_27">在经伊马替尼长期治疗后，大鼠机会性感染的发生率增加，并且猴子体内通常被抑制的疟疾感染病情加重。遗传毒性在一项体外细菌（Ames test）实验、一项体外哺乳动物细胞分析（小鼠淋巴瘤实验）和一项体内大鼠... </dd><dd id="92161_27_detail" style="display:none">该信息登录才能查看，请<a href="///login.do?done=http%3A%2F%%2Fdrug%2F92161%2Fdetail.htm"><font color="red">登录</font></a></dd><dt><span class="fl" id="36">化学成份:</span><a href="#36" onclick="showDrugDetail(this,92161,36)" class="bg fr"></a></dt><dd id="92161_36">化学名称：4-[(4-甲基-1-哌嗪)甲基]-N-[4-甲基-3-[[4-(3-吡啶)-2-嘧啶]氨基]苯基]-苯甲酰胺甲磺酸盐 化学结构式： 分子式：C29H31N7O·CH4SO3分子量：589.... </dd><dd id="92161_36_detail" style="display:none">该信息登录才能查看，请<a href="///login.do?done=http%3A%2F%%2Fdrug%2F92161%2Fdetail.htm"><font color="red">登录</font></a></dd><dt><span class="fl" id="39">批准文号:</span></dt><dd>进口药品注册证号H0294 </dd><dt><span class="fl" id="1">生产企业:</span></dt><dd>Novartis Pharma Schweiz AG </dd><dt><span class="fl" id="7">药物分类:</span></dt><dd>蛋白激酶抑制剂 </dd></dl></div></div></div>
这种就是适合HTML解析，推荐jsoup或者htmlparser。
如果只是包含一些片段。可以直接简单粗暴地使用Str.replaceAll或者正则来处理。
二 停用词
很多中文分词框架支持去掉停用词。看个人选择，jieba 貌似不维护了，ansj效果也不错，还有使用比较多hanlp.
我找了个百度的停用词表，吧英语单词去掉了，供参考：
一一下一些一切一则一天一定一方面一旦一时一来一样一次一片一直一致一般一起一边一面万一上下上升上去上来上述上面下列下去下来下面不一不久不仅不会不但不光不单不变不只不可不同不够不如不得不怕不惟不成不拘不敢不断不是不比不然不特不独不管不能不要不论不足不过不问与与其与否与此同时专门且两者严格严重个个人个别中小中间丰富临为为主为了为什么为什麽为何为着主张主要举行乃乃至么之之一之前之后之後之所以之类乌乎乎乘也也好也是也罢了了解争取于于是于是乎云云互相产生人们人家什么什么样什麽今后今天今年今後仍然从从事从而他他人他们他的代替以以上以下以为以便以免以前以及以后以外以後以来以至以至于以致们任任何任凭任务企图伟大似乎似的但但是何何况何处何时作为你你们你的使得使用例如依依照依靠促进保持俺俺们倘倘使倘或倘然倘若假使假如假若做到像允许充分先后先後先生全部全面兮共同关于其其一其中其二其他其余其它其实其次具体具体地说具体说来具有再者再说冒冲决定况且准备几几乎几时凭凭借出去出来出现分别则别别的别说到前后前者前进前面加之加以加入加强十分即即令即使即便即或即若却不原来又及及其及时及至双方反之反应反映反过来反过来说取得受到变成另另一方面另外只是只有只要只限叫叫做召开叮咚可可以可是可能可见各各个各人各位各地各种各级各自合理同同一同时同样后来后面向向着吓吗否则吧吧哒吱呀呃呕呗呜呜呼呢周围呵呸呼哧咋和咚咦咱咱们咳哇哈哈哈哉哎哎呀哎哟哗哟哦哩哪哪个哪些哪儿哪天哪年哪怕哪样哪边哪里哼哼唷唉啊啐啥啦啪达喂喏喔唷嗡嗡嗬嗯嗳嘎嘎登嘘嘛嘻嘿因因为因此因而固然在在下地坚决坚持基本处理复杂多多少多数多次大力大多数大大大家大批大约大量失去她她们她的好的好象如如上所述如下如何如其如果如此如若存在宁宁可宁愿宁肯它它们它们的它的安全完全完成实现实际宣布容易密切对对于对应将少数尔后尚且尤其就就是就是说尽尽管属于岂但左右巨大巩固己已经帮助常常并并不并不是并且并没有广大广泛应当应用应该开外开始开展引起强烈强调归当当前当时当然当着形成彻底彼彼此往往往待後来後面得得出得到心里必然必要必须怎怎么怎么办怎么样怎样怎麽总之总是总的来看总的来说总的说来总结总而言之恰恰相反您意思愿意慢说成为我我们我的或或是或者战斗所所以所有所谓打扩大把抑或拿按按照换句话说换言之据掌握接着接著故故此整个方便方面旁人无宁无法无论既既是既然时候明显明确是是否是的显然显著普通普遍更加曾经替最后最大最好最後最近最高有有些有关有利有力有所有效有时有点有的有着有著望朝朝着本本着来来着极了构成果然果真某某个某些根据根本欢迎正在正如正常此此外此时此间毋宁每每个每天每年每当比比如比方比较毫不没有沿沿着注意深入清楚满足漫说焉然则然后然後然而照照着特别是特殊特点现代现在甚么甚而甚至用由由于由此可见的的话目前直到直接相似相信相反相同相对相对而言相应相当相等省得看出看到看来看看看见真是真正着着呢矣知道确定离积极移动突出突然立即第等等等管紧接着纵纵令纵使纵然练习组成经经常经过结合结果给绝对继续继而维持综上所述罢了考虑者而而且而况而外而已而是而言联系能能否能够腾自自个儿自从自各儿自家自己自身至至于良好若若是若非范围莫若获得虽虽则虽然虽说行为行动表明表示被要要不要不是要不然要么要是要求规定觉得认为认真认识让许多论设使设若该说明诸位谁谁知赶起起来起见趁趁着越是跟转动转变转贴较较之边达到迅速过过去过来运用还是还有这这个这么这么些这么样这么点儿这些这会儿这儿这就是说这时这样这点这种这边这里这麽进入进步进而进行连连同适应适当适用逐步逐渐通常通过造成遇到遭到避免那那个那么那么些那么样那些那会儿那儿那时那样那边那里那麽部分鄙人采取里面重大重新重要鉴于问题防止阿附近限制除除了除此之外除非随随着随著集中需要非但非常非徒靠顺顺着首先高兴是不是说说
如果觉得《文本预处理与停用词》对你有帮助，请点赞、收藏，并留下你的观点哦！
