[issue14068] problem with re split

[启朗 杨]

启朗 杨 <yangqilang at gmail.com> added the comment:

i use python to handle some string. 
here is my code:
# -*- coding: utf-8 -*- 
from lxml import etree
import collectcorpus
import re


doc = etree.parse("news1.xml")

root = doc.getroot()
children = root.getchildren()
flag = 1
for child in children:
    if flag == len(children):
        content = child.find("content").text
        pattern = re.compile('。')
        sentences = re.split(pattern, content)
        print "*********************"
        for s in sentences:
            print s
        print "**********************"
#        collectcorpus.collectCorpusFromString(content)
    flag = flag + 1
when i use re split it print that: *********************
南澳大利亚，这里的每一寸土地，都是那么的温柔与清新。阿德莱德、芭萝莎、袋鼠岛……你真正面对它们时，总会有种难以名状的美好——那连绵的山峰、起伏的山谷、葱郁的牧场、飘香的田园、平静的湖泊还有那4800公里的海滩，定会让你的梦想在这里启程！南澳大利亚州是澳大利亚面积第四大州，也被称为“节日之州”。它是澳大利亚大陆唯一1个与所有的州和领地接壤的州，首府位于阿德莱德。阿德莱德街景【阿德莱德】阿德莱德(Adelaide)可以说是一座“爱情之城”。因为最初的命名便是威廉四世由他的妻子的名字而得来。阿德莱德对于长期生活在北京、上海这样动辄上千万人口的城市来说，真的一点也不算大。但对于只有160万人口的南澳，能拥有其四分之三人口的比重，在当地人看来已经是非常了不起的事了。但俗话说，麻雀虽小，却五脏俱全。阿德莱德在城市规划以及便民设计上却相当的令人称赞。市区免费巴士市中心有免费得巴士及轻轨可供市民出行使用，大街上随处可见的引用自来水管，干净且便捷。还有遍布市区的草坪绿地，无论你是散步或是运动，都会是一种绝佳的享受。这里的城市规划不仅实用，还挺有意思：市政府规定，只需在城中心建造商业区，而出了很小范围的中心后，是不允许建造高楼的，主要目的就是保护市民的居住环境不必受损。而同样，市民也很乐于居住在郊外，理由同样很简单：“舒服”。阿德莱德大学阿德莱德大学是该市最著名的学校，位于市中心城市图书馆附近。它是一所开放式大学，没有围墙，没有保安，任何人都可以在其中感受学术的氛围。这座城市虽然历史并非多么久远，但他们非常重视保护历史遗迹，无论是旧图书馆还是宴会厅，都保留着古老的建筑。甚至在山上还存有被烧毁的木楼，以来警示后人。阿德莱德著名的商业街在阿城有一条街值得一提，它叫Rundle         mall，是这个城市的商业中心，白天熙熙攘攘的人群川流不息，各类时尚品牌尽在其中，和它相连接的一条是亨德利街Hindle         St,这里集酒吧，餐馆，咖啡馆于一体，是夜生活集中区域。纵观这座依山傍水的城市，真不愧为澳大利亚最优美、最有格调的城，它的天然美景与优雅气质，绝对让人一见倾心。
**********************
done!

when i switch to use str split, it print that: *********************
南澳大利亚，这里的每一寸土地，都是那么的温柔与清新
阿德莱德、芭萝莎、袋鼠岛……你真正面对它们时，总会有种难以名状的美好——那连绵的山峰、起伏的山谷、葱郁的牧场、飘香的田园、平静的湖泊还有那4800公里的海滩，定会让你的梦想在这里启程！南澳大利亚州是澳大利亚面积第四大州，也被称为“节日之州”
它是澳大利亚大陆唯一1个与所有的州和领地接壤的州，首府位于阿德莱德
阿德莱德街景【阿德莱德】阿德莱德(Adelaide)可以说是一座“爱情之城”
因为最初的命名便是威廉四世由他的妻子的名字而得来
阿德莱德对于长期生活在北京、上海这样动辄上千万人口的城市来说，真的一点也不算大
但对于只有160万人口的南澳，能拥有其四分之三人口的比重，在当地人看来已经是非常了不起的事了
但俗话说，麻雀虽小，却五脏俱全
阿德莱德在城市规划以及便民设计上却相当的令人称赞
市区免费巴士市中心有免费得巴士及轻轨可供市民出行使用，大街上随处可见的引用自来水管，干净且便捷
还有遍布市区的草坪绿地，无论你是散步或是运动，都会是一种绝佳的享受
这里的城市规划不仅实用，还挺有意思：市政府规定，只需在城中心建造商业区，而出了很小范围的中心后，是不允许建造高楼的，主要目的就是保护市民的居住环境不必受损
而同样，市民也很乐于居住在郊外，理由同样很简单：“舒服”
阿德莱德大学阿德莱德大学是该市最著名的学校，位于市中心城市图书馆附近
它是一所开放式大学，没有围墙，没有保安，任何人都可以在其中感受学术的氛围
这座城市虽然历史并非多么久远，但他们非常重视保护历史遗迹，无论是旧图书馆还是宴会厅，都保留着古老的建筑
甚至在山上还存有被烧毁的木楼，以来警示后人
阿德莱德著名的商业街在阿城有一条街值得一提，它叫Rundle         mall，是这个城市的商业中心，白天熙熙攘攘的人群川流不息，各类时尚品牌尽在其中，和它相连接的一条是亨德利街Hindle         St,这里集酒吧，餐馆，咖啡馆于一体，是夜生活集中区域
纵观这座依山傍水的城市，真不愧为澳大利亚最优美、最有格调的城，它的天然美景与优雅气质，绝对让人一见倾心

**********************
done!

it means that re's split does not work!!

----------

_______________________________________
Python tracker <report at bugs.python.org>
<http://bugs.python.org/issue14068>
_______________________________________