0

Необходимо проверить входят ли слова из списка lst в строку string. Представленный ниже код рабочий, но явно не самый оптимальный вариант. И я не уверен что регулярные выражения тоже быстрый способ.

string = 'hello world people'
lst = ('foo', 'bar')

r = False
for x in lst:
    if string.find(x) != -1:
        r = True
        break

print('Contains words:', r)
jfs
  • 52,361
garrythehotdog
  • 1,032
  • Код в вашем вопросе не учитывает деление на слова, а код в ответе — учитывает. В связи с этим напрашивается уточняющий вопрос: эти слова в lst — обязательно отдельные слова или могут быть частью других слов (abcfooabc и т.п.)? Если отдельные слова, то что их разделяет — только пробельные символы, или точки-запятые-скобки тоже? – andreymal Sep 22 '18 at 20:16
  • 1
    сравните производительность с grep -Ff words text (если выражение в text файл записать, а слова записать в words файл -- одно на строчку). Связанный вопрос: Поиск повторяющихся строк – jfs Sep 23 '18 at 11:19
  • Спасибо учту, но надо в ОС Windows) – garrythehotdog Sep 23 '18 at 12:24
  • @AlexNasov: grep и рекомендуемый по ссылке ripgrep есть и на Windows – jfs Sep 29 '18 at 17:55

2 Answers2

1

чтобы проверить присутствует ли в строке string хотя бы один элемент из списка lst можно разбить строку на слова, преобразовать получившийся список в множество и получить пересечение данного множества с множеством, полученным из списка lst:

res = bool(set(string.split()) & set(lst))

если в результате получится непустой список - это будет показывать, что хотя бы одно слово из списка содержиться в строке.

UPDATE1:

Думаю функция деления на слова не так быстра, если на входе будет длинная строка

В качестве примера разобъем полное собрание сочинений А.П.Чехова на слова:

In [46]: from pathlib import Path

In [47]: text = Path(r'D:\download\Чехов Антон. Полное собрание сочинений и писем - ModernLib.Ru.txt').read_text()

In [48]: len(text)
Out[48]: 833011

In [49]: %timeit text.split()
19.3 ms ± 196 µs per loop (mean ± std. dev. of 7 runs, 100 loops each)

замер скорости проверки на вхождение слов в полном собрании сочинений Чехова:

In [50]: %timeit bool(set(text.split()) & set(lst))
35 ms ± 171 µs per loop (mean ± std. dev. of 7 runs, 10 loops each)

UPDATE2: более простой и, похоже, более быстрый способ (скорость будет зависеть от размера списка lst):

In [55]: %timeit sum(x in text for x in lst)
1.49 ms ± 1.08 µs per loop (mean ± std. dev. of 7 runs, 1000 loops each)
MaxU - stand with Ukraine
  • 149,321
  • 12
  • 59
  • 132
  • Думаю функция деления на слова не так быстра, если на входе будет длинная строка. – garrythehotdog Sep 22 '18 at 20:08
  • 1
    Прогнав несколько вариантов с входным файлом размером 600Мб и использованием нескольких вариантов 'any' могу скачать, что чаще наименьшее время выполнения показала конструкция с использованием функции .find(x). – garrythehotdog Sep 22 '18 at 20:45
1

Самым быстрым оказался вариант с использованием конструкции any, ниже представлен код в котором сравниваются различные варианты поиска, в том, числе с использованием множеств. В качестве входных данных использовался "размноженный" текст на английском языке(~20 Мб), в котором слов из словаря lst нет.

import re
from time import time

string = ''
with open('1.txt', 'r', encoding='utf-8') as f:
    string = f.read()

lst = ('garrybaldi', 'megapooper')

t1 = time()
r = False
for x in lst:
    if string.find(x) != -1:
        r = True
        break
t2 = time()
print('Broot:', t2-t1)


t1 = time()
r2 = any(string.find(x) != -1 for x in ('garrybaldi', 'megapooper'))
t2 = time()
print('Any:', t2-t1)

t1 = time()
r_re = True if re.search('(garrybaldi|megapooper)', string) else False
t2 = time()
print('Regex:', t2-t1)

t1 = time()
r_set = bool(set(string.split()) & set(lst))
t2 = time()
print('set:', t2-t1)

Результаты:

Broot: 0.030079364776611328
Any: 0.028577327728271484
Regex: 0.14287662506103516
set: 0.5278980731964111
garrythehotdog
  • 1,032