Откройте страницу, если нужно ограничить число одновременно создаваемых ORM-объектов при чтении результата. Выбор загрузки отношений описан отдельно. Справочник · Схема моделей.
| Ситуация | Приём | Пример |
|---|---|---|
| Нужно читать результат партиями | yield_per и partitions() |
Карточка обработки |
| Вместе с родителями нужны коллекции | Проверить совместимость loader и драйвера | Таблица ограничений |
| Нужно повторить проверки | Учебная SQLite и pytest | Полный файл тестов |
| Параметр | Значение |
|---|---|
| Уровень | Продвинутый |
| Предпосылки | Session, итераторы; demo_models.py и demo_queries.py из подготовки |
| Зависимости | Python 3.14, SQLAlchemy 2.1.8 и SQLite; подготовка |
Ситуация: нужно обработать пользователей без сборки всего результата в список.
Фрагмент использует подготовленный engine из учебного набора:
from sqlalchemy import select
from sqlalchemy.orm import Session
from demo_models import User
with Session(engine) as session:
result = session.scalars(
select(User).order_by(User.id).execution_options(yield_per=100)
)
for batch in result.partitions():
for user in batch:
print(user.name)Результат учебных данных: выводятся alice и bob.
100 — размер партии в этом фрагменте, а не универсальная настройка.
Не вызывайте .all(): метод снова собирает весь результат в память.
Не складывайте обработанные объекты в общий список без необходимости.
Поведение курсора и буферизация драйвера влияют на расход памяти.
Полная проверка использует размер партии 1 для проверки границ.
| Сочетание | Применение | Ограничение |
|---|---|---|
yield_per без eager-коллекций |
Поэлементная или пакетная обработка | Не гарантирует предел памяти всего приложения |
yield_per + selectinload |
Возможно при поддержке независимых курсоров драйвером | Вторичные запросы выполняются по партиям; число SELECT может вырасти |
yield_per + joinedload коллекции |
Несовместимо | ORM требует накопления строк для коллекции |
yield_per + subqueryload коллекции |
Несовместимо | Выберите другую организацию чтения |
yield_per + Result.unique() |
Несовместимо | Unique хранит набор встреченных идентичностей |
В SQLite-примере selectinload с партиями проверен.
Это не подтверждает поддержку тех же курсоров другим драйвером.
Для N+1 сначала выберите состав загрузки.
Затем отдельно проверьте пакетную обработку на нужной СУБД и драйвере.
Полный test_streaming.py использует те же модели и исходный seed().
Сохраните файл рядом с demo_models.py и demo_queries.py.
Установите sqlalchemy[asyncio]==2.1.8 и pytest==9.2.0 в отдельное окружение.
Фикстура создаёт и освобождает SQLite в памяти для каждого теста.
Запустите python -m pytest -q test_streaming.py.
Результат: все проверки проходят.
Список names в тесте нужен только для проверки полного результата; рабочая карточка обрабатывает объекты сразу.
Исключения проверяют несовместимость сочетаний, а не результат нагрузочного теста.