Skip to content

Latest commit

 

History

History
84 lines (61 loc) · 6.15 KB

streaming.md

File metadata and controls

84 lines (61 loc) · 6.15 KB

Обработать большую выборку по частям

English

Откройте страницу, если нужно ограничить число одновременно создаваемых ORM-объектов при чтении результата. Выбор загрузки отношений описан отдельно. Справочник · Схема моделей.

Ситуация Приём Пример
Нужно читать результат партиями yield_per и partitions() Карточка обработки
Вместе с родителями нужны коллекции Проверить совместимость loader и драйвера Таблица ограничений
Нужно повторить проверки Учебная SQLite и pytest Полный файл тестов
Параметр Значение
Уровень Продвинутый
Предпосылки Session, итераторы; demo_models.py и demo_queries.py из подготовки
Зависимости Python 3.14, SQLAlchemy 2.1.8 и SQLite; подготовка

Читать результат партиями

Ситуация: нужно обработать пользователей без сборки всего результата в список. Фрагмент использует подготовленный engine из учебного набора:

from sqlalchemy import select
from sqlalchemy.orm import Session
from demo_models import User

with Session(engine) as session:
    result = session.scalars(
        select(User).order_by(User.id).execution_options(yield_per=100)
    )
    for batch in result.partitions():
        for user in batch:
            print(user.name)

Результат учебных данных: выводятся alice и bob. 100 — размер партии в этом фрагменте, а не универсальная настройка. Не вызывайте .all(): метод снова собирает весь результат в память. Не складывайте обработанные объекты в общий список без необходимости. Поведение курсора и буферизация драйвера влияют на расход памяти. Полная проверка использует размер партии 1 для проверки границ.

Совместить с загрузкой отношений

Сочетание Применение Ограничение
yield_per без eager-коллекций Поэлементная или пакетная обработка Не гарантирует предел памяти всего приложения
yield_per + selectinload Возможно при поддержке независимых курсоров драйвером Вторичные запросы выполняются по партиям; число SELECT может вырасти
yield_per + joinedload коллекции Несовместимо ORM требует накопления строк для коллекции
yield_per + subqueryload коллекции Несовместимо Выберите другую организацию чтения
yield_per + Result.unique() Несовместимо Unique хранит набор встреченных идентичностей

В SQLite-примере selectinload с партиями проверен. Это не подтверждает поддержку тех же курсоров другим драйвером. Для N+1 сначала выберите состав загрузки. Затем отдельно проверьте пакетную обработку на нужной СУБД и драйвере.

Проверить обработку и несовместимые сочетания

Полный test_streaming.py использует те же модели и исходный seed(). Сохраните файл рядом с demo_models.py и demo_queries.py. Установите sqlalchemy[asyncio]==2.1.8 и pytest==9.2.0 в отдельное окружение. Фикстура создаёт и освобождает SQLite в памяти для каждого теста.

sqlalchemy/test_streaming.py

Запустите python -m pytest -q test_streaming.py. Результат: все проверки проходят. Список names в тесте нужен только для проверки полного результата; рабочая карточка обрабатывает объекты сразу. Исключения проверяют несовместимость сочетаний, а не результат нагрузочного теста.

Источники