diff --git a/AGENT_DIARY.md b/AGENT_DIARY.md index 4ad3bb27..31c31399 100644 --- a/AGENT_DIARY.md +++ b/AGENT_DIARY.md @@ -1,5 +1,7 @@ ## Key Historical Decisions +- **PyPI-packaging + user-data isolation (2026-08-28):** wheel теперь содержит `tools.stale_detector`, `adapters`, `locales` (норм. данные в site-packages); бинарники/модели в pip-режиме — `get_data_root()` (`%LOCALAPPDATA%\mscodebase`), гейт-маркер `__mscodebase_ext__.marker` отличает расширение от установленного пакета; CLI `--project-path/--project-dir` → env `MSCODEBASE_PROJECT_PATH` (приоритет НАД CWD, trust_self_index); `PROJECT_PATH` остался после CWD (multi-window сохранён). Live-Smoke из чистого venv: tools-ok, `en (78 ключей)`, корень резолвится. Файлы: `pyproject.toml`, `project_resolution.py`, `main.py`, `llama_install.py`. INC-C4CD. + - **Server freeze during full reindex (2026-08-25):** root cause — `begin_write()` держит `_write_lock` (RLock) весь reindex (~7.5 мин embedding), а `IndexStatusReporter.get_status()` синхронно на event-loop-потоке ждал тот же lock (intel_get_runtime_status/require_ready_project/ProjectContext) → заморозка ВСЕХ MCP-вызовов. Фикс: reindex fast-fail в get_status (кэш + status="reindexing") + asyncio.to_thread в 3 loop-точках + guard в _get_stale_warning. - **Embedder:** multilingual-e5-small-int8 + batch=32 (100 ch/s sustained) — 2026-07-17 - **Concurrency:** AsyncInferQueue → лок (тихая гонка подмены векторов) — 2026-07-18 diff --git a/KNOWN_ISSUES.md b/KNOWN_ISSUES.md index 99b0455c..7948c5f5 100644 --- a/KNOWN_ISSUES.md +++ b/KNOWN_ISSUES.md @@ -5,6 +5,14 @@ --- +## 2026-08-28 — PyPI-упаковка: `tools`/`locales`/`adapters` вне wheel, модели/бинарники в site-packages, нет `--project-path` (CLOSED) + +**Что:** При упаковке в PyPI-пакет (wheel) сервер не стартовал из установленного пакета по трём причинам: (1) `ModuleNotFoundError: No module named 'tools'` — `tools.stale_detector` (single source of truth для stale-проверки, инцидент 2026-08-14) не был в `include`; (2) `locales/` и `adapters/` не пакетизировались — i18n-предупреждения при старте и `--install` не работал из пакета; (3) в pip-режиме `_get_ext_dir()` мог писать бинарники/модели в site-packages; не было CLI-выбора целевого проекта. +**Fix:** `pyproject.toml` `include += ["tools.stale_detector*", "adapters*", "locales*"]`, `package-data "locales" = ["*.json"]`; добавить `locales/__init__.py`; `_get_ext_dir()` гейтится маркером `__mscodebase_ext__.marker` → без маркера (pip/uvx) бинарники/модели уходят в `get_data_root()` (`%LOCALAPPDATA%\mscodebase`); CLI `--project-path/--project-dir` → env `MSCODEBASE_PROJECT_PATH` (приоритет над CWD, trust_self_index) в `resolve_project_root()`; `PROJECT_PATH` остался после CWD (обратная совместимость/multi-window). +**Guard:** пустые `tools/__init__.py`, `tools/stale_detector/__init__.py`, `locales/__init__.py`; Live-Smoke из чистого venv с `--project-path` (tools-ok, locales `en (78 ключей)`, корень проекта резолвится); полный прогон `1562 passed / 0 failed`; +4 теста на `MSCODEBASE_PROJECT_PATH` (multiwindow). Удалён side-effect-мусор `write_text(r"C:\temp\mscb_MAIN.txt")` в `write_tools.py` (из исходников и wheel). +**Статус:** ✅ CLOSED (live-верифицирован из wheel, чистая установка) | **Deadline:** — | **Владелец:** misha. +**Note:** `tools/__init__.py` не попадает в wheel (namespace package PEP-420) — import `doc_tools.py:14-15` работает; безвредно. + ## 2026-08-28 — Full reindex зависает в фазе «Finalizing» (PropertyGraph.optimize/create_index) (OPEN / WATCHING) **Что:** При live-верификации фиксов A/B (полный реиндекс job 1ff77294) embedding-фаза прошла БЕЗ заморозки сервера (подтверждает фикс A — QueueHandler), chunks записались корректно (1-based; см. AGENT_DIARY post-mortem off-by-one: save_symbol_index=341). После embed job завис в фазе «Finalizing» (отладка через intel_get_job_status + лог + netstat/py-spy: оба процесса 0% CPU — заблокированы, не считают) на `PropertyGraph.optimize()`/`create_index()` (`src/core/intelligence/layer.py:741` и `:1786`). Флаг `set_reindexing(True)` не снимается → блокирует concurrent search. Это PRE-EXISTING баг индексатора/графа, НЕ вызван фиксами A/B (фиксы касаются только логирования и display-строки; они live-верифицированы на этапе embed). diff --git a/locales/__init__.py b/locales/__init__.py new file mode 100644 index 00000000..e69de29b diff --git a/pyproject.toml b/pyproject.toml index b04648c7..a4bdccdf 100644 --- a/pyproject.toml +++ b/pyproject.toml @@ -143,11 +143,12 @@ mscodebase-mcp = "src.main:main" [tool.setuptools.packages.find] where = ["."] -include = ["src*", "scripts*"] +include = ["src*", "scripts*", "tools.stale_detector*", "adapters*", "locales*"] [tool.setuptools.package-data] "*" = ["*.json", "*.md", "*.bat", "*.cfg", "*.scm"] "src" = ["*.json", "*.txt", "*.cfg", "*.scm"] +"locales" = ["*.json"] [tool.pytest.ini_options] asyncio_mode = "auto" diff --git a/src/core/project_resolution.py b/src/core/project_resolution.py index 4f5b9012..c33e632b 100644 --- a/src/core/project_resolution.py +++ b/src/core/project_resolution.py @@ -205,6 +205,49 @@ def _reject_self_index_target(p: Path, *, source: str) -> bool: return False +def _try_resolve_path_env(raw: str, source: str, *, trust_self_index: bool = False) -> Optional[Path]: + """Резолвит путь из env-raw (литерал $ZED_WORKTREE_ROOT или прямой путь). + + Общая логика для PROJECT_PATH и MSCODEBASE_PROJECT_PATH. Возвращает Path + или None (невалид / self-indexing / пусто). + + trust_self_index=True — доверяем явному override даже если это ext_root + (аналог ACTIVE_WORKSPACE). Используется ТОЛЬКО для MSCODEBASE_PROJECT_PATH + (клиент осознанно указал проект через --project-path); PROJECT_PATH + сохраняет блокировку self-indexing для обратной совместимости. + """ + if not raw: + return None + # Случай 1: Zed literal "$ZED_WORKTREE_ROOT" без подстановки. + if raw.startswith("$"): + zed_root = os.environ.get("ZED_WORKTREE_ROOT") + if zed_root: + p = Path(zed_root).resolve() + if p.exists() and not _reject_self_index_target(p, source="ZED_WORKTREE_ROOT"): + return p + return None + # Случай 2: прямой путь. + try: + resolved = Path(raw).resolve() + except (OSError, ValueError): + return None + if not resolved.exists() or not resolved.is_dir(): + return None + # Self-indexing guard: для автоматических fallback'ов блокируем ext_root; + # для явного CLI override (trust_self_index=True) — доверяем. + if ( + not trust_self_index + and _reject_self_index_target(resolved, source=source) + and os.environ.get("MSCODEBASE_ALLOW_SELF_INDEX", "").strip().lower() not in ("1", "true", "yes") + ): + logger.warning( + f"{source} указывает на self-indexing target ({resolved}). " + f"Игнорирую — установите MSCODEBASE_ALLOW_SELF_INDEX=1 или используйте ACTIVE_WORKSPACE." + ) + return None + return resolved + + def _resolve_env_project_root() -> Optional[Path]: """Резолвит PROJECT_PATH из окружения лениво + один раз кэширует результат. @@ -216,38 +259,9 @@ def _resolve_env_project_root() -> Optional[Path]: if _env_project_root_cache is not None: return _env_project_root_cache raw = os.environ.get("PROJECT_PATH", "").strip() - if not raw: - return None - # Случай 1: Zed literal "$ZED_WORKTREE_ROOT" без подстановки. - if raw.startswith("$"): - zed_root = os.environ.get("ZED_WORKTREE_ROOT") - if zed_root: - p = Path(zed_root).resolve() - if p.exists() and not _reject_self_index_target( - p, source="ZED_WORKTREE_ROOT" - ): - _env_project_root_cache = p - return _env_project_root_cache - return None - # Случай 2: прямой путь. - try: - resolved = Path(raw).resolve() - except (OSError, ValueError): - return None - if not resolved.exists() or not resolved.is_dir(): - return None - # Self-indexing guard (см. INC-53EC / REFC-02): если PROJECT_PATH - # Если пользователь ЯВНО задал PROJECT_PATH — доверяем ему, - # не блокируем self-indexing guard. Он знает, что делает. - # Только автоматический fallback (CWD/ext_root) блокируем. - if _reject_self_index_target(resolved, source="PROJECT_PATH") and os.environ.get("MSCODEBASE_ALLOW_SELF_INDEX", "").strip() not in ("1", "true", "yes"): - logger.warning( - f"PROJECT_PATH указывает на self-indexing target ({resolved}). " - f"Игнорирую — установите PROJECT_PATH=$ZED_WORKTREE_ROOT или MSCODEBASE_ALLOW_SELF_INDEX=1." - ) - return None - _env_project_root_cache = resolved - return _env_project_root_cache + env_root = _try_resolve_path_env(raw, "PROJECT_PATH") + _env_project_root_cache = env_root + return env_root def reset_project_root_cache() -> None: @@ -262,23 +276,39 @@ def resolve_project_root(provided: str = "") -> Path: Приоритет (каждый вызов резолвит заново — см. INC-53EC / REFC-02): 0. Явно переданный provided - 1. CWD (корень окна, для которого запущен MCP-процесс) — per-window + 1. MSCODEBASE_PROJECT_PATH env (явный override CLI/владельца, НАД CWD). + Приоритет над CWD — только для этого явного override; обычный Zed-режим + CWD-first сохраняет per-window изоляцию (INC-MULTI-WINDOW). + 2. CWD (корень окна, для которого запущен MCP-процесс) — per-window изоляция (INC-MULTI-WINDOW): Zed запускает отдельный MCP на окно и ставит CWD = корень окна. SQLite active_workspace_id глобальный на весь Zed — два окна резолвят один проект → PID-lock конфликт. Self-indexing guard: CWD == ext_root отклоняется (dev/test-режим добирается через SQLite active_workspace с доверием ACTIVE_WORKSPACE). - 2. PROJECT_PATH из окружения (lazy, с self-indexing guard) — явный + 3. PROJECT_PATH из окружения (lazy, с self-indexing guard) — явный override пользователя; Zed-литерал "$ZED_WORKTREE_ROOT" → None. - 3. SQLite multi_workspace_state.active_workspace_id (fallback для + 4. SQLite multi_workspace_state.active_workspace_id (fallback для single-window / когда CWD отклонён self-indexing guard'ом) - 4. Zed SQLite DB (workspaces table — fallback, если нет active) - 5. ZED_WORKTREE_ROOT env - 6. ext_root как fallback + 5. Zed SQLite DB (workspaces table — fallback, если нет active) + 6. ZED_WORKTREE_ROOT env + 7. ext_root как fallback """ if provided and provided.strip(): return Path(provided).resolve() + # ─── 0.5. MSCODEBASE_PROJECT_PATH: явный override НАД CWD ─── + # Отличается от PROJECT_PATH (см. ниже, позиция 3): имеет приоритет над + # CWD, т.к. это намеренный override (CLI --project-path устанавливает + # именно его). В обычном Zed-режиме env не задан → CWD-first сохраняется. + prio_raw = os.environ.get("MSCODEBASE_PROJECT_PATH", "").strip() + if prio_raw: + prio_root = _try_resolve_path_env( + prio_raw, "MSCODEBASE_PROJECT_PATH", trust_self_index=True + ) + if prio_root is not None: + logger.debug(f"resolve_project_root: MSCODEBASE_PROJECT_PATH={prio_root}") + return prio_root + # ─── 1. CWD-FIRST: per-window изоляция (INC-MULTI-WINDOW) ─── # Раньше CWD был предпоследним в цепочке, а SQLite active_workspace_id # (один на весь Zed) — первым: оба окна резолвили один проект → diff --git a/src/main.py b/src/main.py index dd2e4fea..0a2eeda8 100644 --- a/src/main.py +++ b/src/main.py @@ -181,6 +181,23 @@ def _gc_worker() -> None: pass return original_stdout + + +def _cli_project_path() -> str: + """Извлекает --project-path/--project-dir из sys.argv (значение или после =). + + Возвращает пустую строку, если аргумент не передан. Значение — путь + к целевому проекту (корень, для которого работают MCP-инструменты). + """ + for flag in ("--project-path", "--project-dir"): + for i, arg in enumerate(sys.argv): + if arg == flag and i + 1 < len(sys.argv): + return sys.argv[i + 1].strip() + if arg.startswith(flag + "="): + return arg[len(flag) + 1:].strip() + return "" + + def main(): """Главная функция запуска MCP-сервера.""" original_stdout = setup_logging() @@ -188,6 +205,20 @@ def main(): logger.info("MSCodebase Intelligence MCP Server запускается...") logger.info(f"PROJECT_ROOT: {PROJECT_ROOT}") + # ─── CLI --project-path: явный выбор целевого проекта ─── + # Устанавливаем MSCODEBASE_PROJECT_PATH (приоритет над CWD, см. + # resolve_project_root). PROJECT_ROOT (корень установки/расширения) НЕ + # трогаем — он не является корнем целевого проекта. Env задаётся ДО + # любого вызова resolve_project_root (в т.ч. при --install резолв корня). + _cli_proj = _cli_project_path() + if _cli_proj and not os.environ.get("MSCODEBASE_PROJECT_PATH"): + try: + _resolved_cli = str(Path(_cli_proj).resolve()) + except (OSError, ValueError): + _resolved_cli = _cli_proj + os.environ["MSCODEBASE_PROJECT_PATH"] = _resolved_cli + logger.info(f"CLI --project-path: {_resolved_cli}") + try: # Обработка аргументов командной строки if "--help" in sys.argv or "-h" in sys.argv: @@ -197,6 +228,10 @@ def main(): " python -m src.main # Запуск MCP сервера", file=sys.stderr, ) + print( + " python -m src.main --project-path # Запуск на указанном проекте", + file=sys.stderr, + ) print( " python -m src.main --install # Установка в проект (.zed/settings.json)", file=sys.stderr, diff --git a/src/providers/reranker/llama_install.py b/src/providers/reranker/llama_install.py index 2a226a34..a6c9db98 100644 --- a/src/providers/reranker/llama_install.py +++ b/src/providers/reranker/llama_install.py @@ -274,15 +274,19 @@ def _get_ext_dir() -> Path: # Frozen (PyInstaller) — sys.executable это сам бинарник if getattr(sys, "frozen", False): return Path(sys.executable).parent.parent.parent - # Расширение: .../venv/Scripts/python.exe → …/ + # Расширение: .../venv/Scripts/python.exe → …/ (маркер расширения обязателен). + # Маркер __mscodebase_ext__.marker отличает исходники/расширение от + # установленного pip/wheel-пакета: в site-packages маркера НЕТ, поэтому + # бинарники/модели НЕ пишутся в site-packages, а уходят в data_root. p = Path(sys.executable).resolve().parent.parent.parent - if (p / "src" / "main.py").exists(): + if (p / "src" / "main.py").exists() and (p / "__mscodebase_ext__.marker").exists(): return p - # Режим разработки + # Режим разработки (исходники с маркером расширения в корне) p = Path(__file__).resolve().parent.parent.parent - if (p / "src" / "main.py").exists(): + if (p / "src" / "main.py").exists() and (p / "__mscodebase_ext__.marker").exists(): return p - # Последний fallback: единый data root (исторически ~/.cache/mscodebase). + # Установленный пакет (pip/uvx) или неизвестный контекст: единый data root + # (%LOCALAPPDATA%/mscodebase | ~/.cache/mscodebase) — НЕ site-packages. from src.core.artifact_paths import get_data_root return get_data_root() diff --git a/tests/test_project_resolution_multiwindow.py b/tests/test_project_resolution_multiwindow.py index d1503f55..cea650de 100644 --- a/tests/test_project_resolution_multiwindow.py +++ b/tests/test_project_resolution_multiwindow.py @@ -144,3 +144,60 @@ def test_missing_table_detected(self): def test_none_connection(self): assert _check_sqlite_schema_health(None) is not None + + +class TestPriorityProjectPathOverride: + """Явный CLI-override через MSCODEBASE_PROJECT_PATH (США Заглушка Step 2, Вариант A). + + Приоритет: CLI/env MSCODEBASE_PROJECT_PATH → CWD → PROJECT_PATH → SQLite... + В обычном Zed-режиме env не задан → CWD-first сохраняется (INC-MULTI-WINDOW). + """ + + def _isolated(self, monkeypatch): + monkeypatch.delenv("MSCODEBASE_PROJECT_PATH", raising=False) + monkeypatch.delenv("PROJECT_PATH", raising=False) + monkeypatch.delenv("ZED_WORKTREE_ROOT", raising=False) + monkeypatch.setattr(pr, "_get_sqlite_connection", lambda: None) + + def test_mscb_path_wins_over_cwd(self, tmp_path, _cwd_restorer, monkeypatch): + """MSCODEBASE_PROJECT_PATH (явный CLI) побеждает CWD.""" + self._isolated(monkeypatch) + project = _make_project(tmp_path, "project_a") + override = _make_project(tmp_path, "override_b") + + monkeypatch.setenv("MSCODEBASE_PROJECT_PATH", str(override)) + os.chdir(project) + assert resolve_project_root().resolve() == override.resolve() + + def test_mscb_path_trusts_ext_root(self, tmp_path, _cwd_restorer, monkeypatch): + """MSCODEBASE_PROJECT_PATH == ext_root доверяется (trust_self_index=True), + как явный осознанный override CLI (--project-path на корень разработки).""" + self._isolated(monkeypatch) + os.chdir(tmp_path) + monkeypatch.setattr(pr, "ext_root", tmp_path) # == CWD == ext_root + monkeypatch.setenv("MSCODEBASE_PROJECT_PATH", str(tmp_path)) + + # guard бы отклонил (CWD/PROJECT_PATH), но доверие перекрывает + assert resolve_project_root().resolve() == tmp_path.resolve() + + def test_plain_project_path_still_behind_cwd(self, tmp_path, _cwd_restorer, monkeypatch): + """PROJECT_PATH без MSCODEBASE остаётся ПОСЛЕ CWD (обратная совместимость, + multi-window безопасность: не переопределяет корень окна без явного CLI).""" + self._isolated(monkeypatch) + project = _make_project(tmp_path, "project_a") + env_override = _make_project(tmp_path, "env_project") + + monkeypatch.setenv("PROJECT_PATH", str(env_override)) + os.chdir(project) + assert resolve_project_root().resolve() == project.resolve() + + def test_bad_mscb_path_falls_back(self, tmp_path, _cwd_restorer, monkeypatch): + """Несуществующий MSCODEBASE_PROJECT_PATH — не падает, срабатывает CWD-first.""" + self._isolated(monkeypatch) + project = _make_project(tmp_path, "project_a") + + monkeypatch.setenv( + "MSCODEBASE_PROJECT_PATH", str(tmp_path / "no_such_dir") + ) + os.chdir(project) + assert resolve_project_root().resolve() == project.resolve() diff --git a/tools/__init__.py b/tools/__init__.py new file mode 100644 index 00000000..e69de29b diff --git a/tools/stale_detector/__init__.py b/tools/stale_detector/__init__.py new file mode 100644 index 00000000..e69de29b