Как прочитать последнюю строку и дописать данные

Question

Имеются большие файлы от 5мб и выше, к примеру 1 файл содержит 114320 строк.

Необходимо считать последнюю или предпоследнюю строку (если в последней был символ новой строки), и дописать новые данные. Видел разные реализации, но все они предполагают, что файл будет маленький.

Answer 1

Чтобы прочитать последнюю строку в относительно небольшом файле:

from collections import deque

with open('файл.txt') as file:
     [last_line] = deque(file, maxlen=1) or ['']

Большой файл можно с конца читать пока новая строка не встретится, используя mmap:

from mmap import mmap, ACCESS_READ

def last_line(filename, newline=b'\n'):
    with open(filename, 'rb', 0) as file:
        try:
            s = mmap(file.fileno(), 0, access=ACCESS_READ)
        except ValueError:  # empty
            return b''
        else:
            with s:
                i = s.rfind(newline, 0, -1)
                return s[i + len(newline) if i != -1 else 0:]

Этот вариант возвращает байты и не поддерживает режим универсальных строк. Пример:

>>> last_line('no newline.txt')
b'abc'

Для чтения пары строк с конца, ещё может подойти, к примеру, tail(file, n) функция из @A. Coady ответа. Размер буфера в ответе удваивается по схожей причине, описанной в Непонятное замедление конкатенации в цикле — при чтении с конца нужно быть осторожным, чтобы не сделать ваш алгоритм квадратичным случайно:

def last_line(filename, newline=b'\n'):
    with open(filename, 'rb') as file:
        size, s = 2, b''
        while s.find(newline, 0, -1) == -1:  # until a full line is read
            try:
                file.seek(-size, os.SEEK_END)
            except IOError:  # file is too small
                file.seek(0)  # rewind to beginning
                break
            finally:
                s = file.read(size)
            size *= 2
        i = s.rfind(newline, 0, -1)
        return s[i + len(newline) if i != -1 else 0:]

Сравните производительность (включая deque() вариант), чтобы узнать какое решение лучше работает в вашем случае.