Effektiver Weg, um eine Zeichenfolge in Python iterativ anzuhängen?

Question

Ich schreibe eine Python-Funktion, um Text in Wörter zu teilen und angegebene Interpunktion zu ignorieren. Hier ist ein funktionierender Code. Ich bin nicht davon überzeugt, dass das Konstruieren von Strings aus Listen (buf = [] im Code) effizient ist. Hat jemand einen Vorschlag für einen besseren Weg?

def getwords(text, splitchars=' \t|!?.;:"'): 
    """ 
    Generator to get words in text by splitting text along specified splitchars 
    and stripping out the splitchars:: 

     >>> list(getwords('this is some text.')) 
     ['this', 'is', 'some', 'text'] 
     >>> list(getwords('and/or')) 
     ['and', 'or'] 
     >>> list(getwords('one||two')) 
     ['one', 'two'] 
     >>> list(getwords(u'hola unicode!')) 
     [u'hola', u'unicode'] 
    """ 
    splitchars = set(splitchars) 
    buf = [] 
    for char in text: 
     if char not in splitchars: 
      buf.append(char) 
     else: 
      if buf: 
       yield ''.join(buf) 
       buf = [] 
    # All done. Yield last word. 
    if buf: 
     yield ''.join(buf) 

Answer 1

Sie können re.split verwenden verwenden

re.split('[\s|!\?\.;:"]', text) 

Wenn der Text jedoch sehr groß ist, verbraucht das resultierende Array möglicherweise zu viel Speicher. Dann kannst du re.finditer betrachten:

import re 
def getwords(text, splitchars=' \t|!?.;:"'): 
    words_iter = re.finditer(
    "([%s]+)" % "".join([("^" + c) for c in splitchars]), 
    text) 
    for word in words_iter: 
    yield word.group() 

# a quick test 
s = "a:b cc? def...a||" 
words = [x for x in getwords(s)] 
assert ["a", "b", "cc", "def", "a"] == words, words 

Answer 2

Sie möchten re.split nicht verwenden?

import re 
re.split("[,; ]+", "coucou1 , coucou2;coucou3") 

Answer 3

http://www.skymind.com/~ocrow/python_string/ spricht über verschiedene Möglichkeiten von Strings in Python verketten und bewertet sowie deren Leistung.

Answer 4

Sie können die Eingabe geteilt mit re.split():

>>> splitchars=' \t|!?.;:"' 
>>> re.split("[%s]" % splitchars, "one\ttwo|three?four") 
['one', 'two', 'three', 'four'] 
>>> 

EDIT: Wenn Ihr splitchars Sonderzeichen wie ] oder ^ enthalten können, können Sie re.escpae()

>>> re.escape(splitchars) 
'\\ \\\t\\|\\!\\?\\.\\;\\:\\"' 
>>> re.split("[%s]" % re.escape(splitchars), "one\ttwo|three?four") 
['one', 'two', 'three', 'four'] 
>>>