From b9f12b29715d38463efa0dfa652d8624b31892cb Mon Sep 17 00:00:00 2001 From: Jinsoo Shin <59598545+jsshin2022@users.noreply.github.com> Date: Sun, 8 Nov 2026 11:12:53 +0900 Subject: [PATCH] =?UTF-8?q?fix(search):=20=ED=83=AD=EC=9D=B4=20=EB=AA=A8?= =?UTF-8?q?=EB=91=90=20=EA=B0=99=EC=9D=80=20=EB=B0=A9=EC=8B=9D=EC=9C=BC?= =?UTF-8?q?=EB=A1=9C=20=EB=B3=B4=EC=9D=B4=EA=B2=8C=20=C2=B7=20=EC=A7=80?= =?UTF-8?q?=EA=B8=88=20=EC=9D=B4=EC=8A=88=EC=9D=98=20=EC=B6=9C=EC=B2=98?= =?UTF-8?q?=EC=99=80=20=EC=9E=90=EB=8F=99=20=ED=9B=84=EB=B3=B4=20=C2=B7=20?= =?UTF-8?q?=EB=8D=B0=EC=9D=B4=ED=84=B0=20=EC=97=B0=EB=8F=99(core.data)?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit 검색 탭 - 검색어가 없어도 탭마다 그 종류 전체 목록과 개수 (전체 147 · 결과 12 · 이슈 7 · 데이터 76 …) - 종류 탭에서는 판정·문장 검증 패널을 숨기고 그 종류만 같은 모양으로, 위에 탭 설명 한 줄 - 0개 탭도 누를 수 있고 빈 안내를 보여 줌 (흐린 비활성 탭 없앰) 지금 이슈는 어디서 오나 (issues.html) - 사람이 공식 자료로 확인한 issues.yaml · 자동 후보(법제처 근거 법률 개정·지정 해제 이력, 최근 7일 뉴스, 사이트 질문) · 이슈가 되기까지 - '자동으로 모은 이슈 후보' 목록과 '이슈로 제안' 버튼, 검색의 이슈 줄에 근거 도메인 데이터 연동 - core/data.py: 데이터셋마다 연결 방식 하나 — 자동 수집(KOSIS·국토부 실거래가·서울 지하철 수집기) → 참여자 수집 코드(cases/*/fetch.py) → API 키 → 파일 → 웹 조회 python -m core.data list | show | issue <이슈> | fetch - 데이터 지도·지금 이슈·주제 표의 '받는 법 (연동)'을 펼치면 명령·코드·키 발급 안내, 검색의 데이터 줄에 연결 방식 Co-Authored-By: Claude Opus 5.5 Claude-Session: https://claude.ai/code/session_01EMnmZPBD5PQJW1UQAARN7q --- catalog/README.md | 17 +++ core/data.py | 228 +++++++++++++++++++++++++++++++++++++ site/build.py | 127 ++++++++++++++++++++- site/search.js | 44 +++++-- site/search.py | 9 +- site/style.css | 13 ++- tests/test_data_connect.py | 73 ++++++++++++ 7 files changed, 493 insertions(+), 18 deletions(-) create mode 100644 core/data.py create mode 100644 tests/test_data_connect.py diff --git a/catalog/README.md b/catalog/README.md index 1006f78..ab3b99b 100644 --- a/catalog/README.md +++ b/catalog/README.md @@ -17,6 +17,23 @@ 참여자가 `plan.yaml`의 `data_sources`에 적은 데이터는 카탈로그에 등록하고(확인하지 않은 값은 `확인필요`), 사이트가 URL·id로 케이스와 자동으로 잇습니다 — 데이터 지도의 '쓴 분석', 분석 결과의 '데이터 계보', [검색](https://causalinferencelab.github.io/policy-effect-analytics-agent/search.html)이 모두 이 연결을 씁니다. +## 데이터 연동 — 받는 법을 한 곳에서 (`core/data.py`) + +데이터셋마다 연결 방식이 하나 붙습니다: **자동 수집**(레포 수집기: KOSIS 통계표 · 국토부 실거래가 · 서울 지하철) → **참여자 수집 코드**(이미 받아 본 `cases/<케이스>/fetch.py`) → **API 키 필요** → **파일 내려받기** → **웹 조회·신청**. +사이트의 데이터 지도·지금 이슈·주제 페이지 표의 '받는 법 (연동)'을 펼치면 명령과 코드가 나옵니다. + +```bash +python -m core.data list # 76개 데이터의 연결 방식 +python -m core.data issue seoul-ltp-1015-2025 # 이슈 하나에 필요한 데이터와 받는 법 +python -m core.data fetch DT_1B040A3 --start 2015 --end 2024 -o data/raw/pop.csv # 키는 .env (커밋 금지) +``` + +## 지금 이슈는 어디서 오나 + +`issues.yaml` 은 사람이 정부 공식 자료로 시행일·대상을 확인해 적습니다. 후보는 자동으로 모입니다 — 법제처 법령·행정규칙 변경(근거 법률 개정·지정 해제 이력), +최근 7일 뉴스 언급(`scripts/refresh_trends.py`), 사이트 질문과 결과 없던 검색어. 사이트 '지금 이슈' 화면의 '자동으로 모은 이슈 후보'에서 '이슈로 제안'을 누르면 +작업 제안 이슈가 되고, 자동 가설·데이터 점검 댓글을 거쳐 메인테이너가 `issues.yaml` 에 옮깁니다. + ## 데이터 계보 (트랙 A, `lineage/`) 이슈 하나에서 출발해 정책 → 원천 데이터 → 가공 → 지표 → 분석으로 이어지는 길을 한 파일에 적습니다. diff --git a/core/data.py b/core/data.py new file mode 100644 index 0000000..351a01e --- /dev/null +++ b/core/data.py @@ -0,0 +1,228 @@ +"""데이터 연동 — 카탈로그(datasets.yaml)의 데이터를 '어떻게 받나'를 한 곳에서. + +데이터셋마다 연결 방식을 하나 정한다 (위에서부터 먼저 맞는 것): + adapter 레포에 수집기가 있다 → python -m core.data fetch (키는 .env 의 환경변수) + case 참여자가 이미 받아 본 코드 → cases/<케이스>/fetch.py 를 복사해 쓴다 + api_key 오픈API — 포털에서 키 발급 → 포털 페이지의 요청 주소·인자로 직접 호출 + file 파일 내려받기 → 포털 페이지에서 내려받아 data/raw/ 에 + manual 웹 조회·신청 → 안내대로 받은 뒤 data/raw/ 에 + + python -m core.data show 15126468 # 연결 방식·코드 + python -m core.data issue seoul-ltp-1015-2025 # 이슈 하나에 필요한 데이터 전부 + python -m core.data fetch DT_1B040A3 --start 2015 --end 2024 -o data/raw/pop.csv + +원자료·키는 커밋하지 않는다(data/ 는 .gitignore). 받은 날짜와 주소는 출력에 함께 남긴다. +""" + +from __future__ import annotations + +import argparse +import re +import sys +from datetime import date +from pathlib import Path +from urllib.parse import parse_qs, urlparse + +KIND_KO = { + "adapter": "자동 수집", + "case": "참여자 수집 코드", + "api_key": "API 키 필요", + "file": "파일 내려받기", + "manual": "웹 조회·신청", +} +MOLIT = {"15126468", "15126469"} +PRD = {"연": "Y", "반기": "H", "분기": "Q", "월": "M", "일": "D"} +KEY_HELP = { + "KOSIS_API_KEY": "https://kosis.kr/openapi/ 에서 인증키 신청(즉시)", + "DATA_GO_KR_API_KEY": "공공데이터포털 데이터 페이지의 '활용신청' → 마이페이지 인증키(Decoding)", +} + + +def _kosis_ids(url: str) -> tuple[str, str] | None: + q = parse_qs(urlparse(url).query) + if "orgId" in q and "tblId" in q: + return q["orgId"][0], q["tblId"][0] + return None + + +def connector(d, users: dict[str, list[str]] | None = None) -> dict: + """데이터셋 하나 → {kind, label, env, code, steps, auto}.""" + users = users or {} + did = d.id + if d.portal == "kosis" and (ids := _kosis_ids(d.url)): + org, tbl = ids + prd = PRD.get(d.time, "Y") + return { + "kind": "adapter", + "label": "자동 수집 · KOSIS", + "env": "KOSIS_API_KEY", + "auto": True, + "code": f"python -m core.data fetch {did} --start 2015 --end 2024 -o data/raw/{did}.csv", + "python": ( + "from core.adapters.kosis import KosisAdapter\n" + f'df = KosisAdapter().fetch(orgId="{org}", tblId="{tbl}", prdSe="{prd}", startPrdDe="2015", endPrdDe="2024")' + ), + "steps": [KEY_HELP["KOSIS_API_KEY"], ".env 에 KOSIS_API_KEY=... (커밋 금지)"], + } + if did in MOLIT: + return { + "kind": "adapter", + "label": "자동 수집 · 국토부 실거래가", + "env": "DATA_GO_KR_API_KEY", + "auto": True, + "code": f"python -m core.data fetch {did} --start 2024-01 --end 2024-12 -o data/raw/apt_trades.csv", + "python": ( + "from core.adapters.molit import MolitAptTradeAdapter\n" + 'df = MolitAptTradeAdapter().fetch(start="2024-01", end="2024-12") # 기본: 서울 25개 구' + ), + "steps": [KEY_HELP["DATA_GO_KR_API_KEY"], ".env 에 DATA_GO_KR_API_KEY=... (커밋 금지)"], + } + if did == "OA-12914": + return { + "kind": "adapter", + "label": "자동 수집 · 서울 지하철", + "env": None, + "auto": True, + "code": f"python -m core.data fetch {did} --start 2024-01 --end 2024-12 -o data/raw/subway.csv", + "python": ( + "from core.adapters.seoul_subway import SeoulSubwayDailyAdapter\n" + 'df = SeoulSubwayDailyAdapter().fetch(start="2024-01", end="2024-12", cache_dir="data/raw/subway")' + ), + "steps": ["키 필요 없음 — 월별 파일을 내려받아 합칩니다"], + } + if users.get(did): + case = users[did][0] + return { + "kind": "case", + "label": f"참여자 수집 코드 · {case}", + "env": None, + "auto": False, + "code": f"cp cases/{case}/fetch.py cases/<내ID>-<주제>/fetch.py # 이 데이터를 실제로 받아 본 코드", + "python": f"# cases/{case}/fetch.py 를 열어 이 데이터를 받는 부분을 가져다 쓰세요", + "steps": [f"cases/{case}/fetch.py 와 plan.yaml 의 data_sources 를 보세요", d.url], + } + if d.access == "open_api": + env = "DATA_GO_KR_API_KEY" if d.portal == "data.go.kr" else None + return { + "kind": "api_key", + "label": "API 키 필요", + "env": env, + "auto": False, + "code": f"# {d.url} 의 '요청주소'와 '요청변수'로 호출 — 키는 os.environ['{env or 'API_KEY'}']", + "python": ( + "import os, requests\n" + f"r = requests.get('<요청주소>', params={{'serviceKey': os.environ['{env or 'API_KEY'}'], 'type': 'json'}})" + ), + "steps": [KEY_HELP.get(env or "", f"{d.url} 에서 활용신청"), f"승인: {d.approval}"], + } + if d.access == "file": + return { + "kind": "file", + "label": "파일 내려받기", + "env": None, + "auto": False, + "code": f"# {d.url} 에서 내려받아 data/raw/ 에 두고: pd.read_csv('data/raw/<파일>', dtype=str)", + "python": "import pandas as pd\ndf = pd.read_csv('data/raw/<파일>.csv', dtype=str) # 코드 열은 문자로", + "steps": [d.url, "받은 날짜와 파일명을 fetch.py 주석에 기록"], + } + return { + "kind": "manual", + "label": "웹 조회·신청", + "env": None, + "auto": False, + "code": f"# {d.url} 에서 조회·내려받기 (자동 수집 불가)", + "python": "", + "steps": [d.url, d.approval], + } + + +def fetch(d, start: str | None = None, end: str | None = None): + """adapter 연결만 실제로 받는다. 나머지는 ValueError 로 안내.""" + c = connector(d) + if not c["auto"]: + raise ValueError( + f"{d.id}: 자동 수집기가 없습니다 ({c['label']}). python -m core.data show {d.id}" + ) + if d.portal == "kosis": + from core.adapters.kosis import KosisAdapter + + org, tbl = _kosis_ids(d.url) + return KosisAdapter().fetch( + orgId=org, tblId=tbl, prdSe=PRD.get(d.time, "Y"), startPrdDe=start, endPrdDe=end + ) + if d.id in MOLIT: + from core.adapters.molit import MolitAptTradeAdapter + + return MolitAptTradeAdapter().fetch(start=start or "2024-01", end=end or "2024-12") + if d.id == "OA-12914": + from core.adapters.seoul_subway import SeoulSubwayDailyAdapter + + return SeoulSubwayDailyAdapter().fetch(start=start or "2024-01", end=end or "2024-12") + raise ValueError(d.id) + + +def _show(d, users) -> str: + c = connector(d, users) + lines = [ + f"{d.id} · {d.name}", + f" 연결: {c['label']}" + (f" (환경변수 {c['env']})" if c["env"] else ""), + ] + lines += [f" - {s}" for s in c["steps"] if s] + lines.append(f" $ {c['code']}") + if c["python"]: + lines += [" " + ln for ln in c["python"].splitlines()] + return "\n".join(lines) + + +def main(argv=None) -> int: + from core.discovery.links import dataset_users + from core.discovery.ontology import load_datasets, load_issues + + ap = argparse.ArgumentParser(description="카탈로그 데이터 연동") + sub = ap.add_subparsers(dest="cmd", required=True) + s = sub.add_parser("show") + s.add_argument("id") + i = sub.add_parser("issue") + i.add_argument("id") + f = sub.add_parser("fetch") + f.add_argument("id") + f.add_argument("--start") + f.add_argument("--end") + f.add_argument("-o", "--out") + sub.add_parser("list") + a = ap.parse_args(argv) + ds = {d.id: d for d in load_datasets()} + users = dataset_users(list(ds.values())) + if a.cmd == "list": + for d in ds.values(): + print(f"{d.id:<18} {connector(d, users)['label']:<28} {d.name}") + return 0 + if a.cmd == "show": + if a.id not in ds: + print(f"카탈로그에 없는 id: {a.id}", file=sys.stderr) + return 1 + print(_show(ds[a.id], users)) + return 0 + if a.cmd == "issue": + iss = {x.id: x for x in load_issues()}.get(a.id) + if not iss: + print(f"issues.yaml 에 없는 이슈: {a.id}", file=sys.stderr) + return 1 + print(f"[{iss.name}] 시행 {iss.effective} · 근거 {iss.source}") + for did in iss.datasets: + print(_show(ds[did], users) if did in ds else f"{did} · 카탈로그에 없음") + return 0 + d = ds.get(a.id) + if d is None: + print(f"카탈로그에 없는 id: {a.id}", file=sys.stderr) + return 1 + df = fetch(d, a.start, a.end) + out = Path(a.out or f"data/raw/{re.sub(r'[^A-Za-z0-9_-]', '_', d.id)}.csv") + out.parent.mkdir(parents=True, exist_ok=True) + df.to_csv(out, index=False) + print(f"{len(df)}행 → {out} (받은 날 {date.today()}, 출처 {d.url}, 이용 조건 {d.license})") + return 0 + + +if __name__ == "__main__": + raise SystemExit(main()) diff --git a/site/build.py b/site/build.py index 16ccd4f..4d03842 100644 --- a/site/build.py +++ b/site/build.py @@ -14,6 +14,7 @@ import shutil import sys from pathlib import Path +from urllib.parse import quote import pandas as pd @@ -188,15 +189,45 @@ def readiness(t) -> tuple[str, str, str]: return "ready", "분석 가능", "go" +_USERS: dict | None = None + + +def data_users() -> dict: + """데이터셋 id → 그 데이터를 쓴 케이스 (빌드 중 한 번만 계산).""" + global _USERS + if _USERS is None: + from core.discovery.links import dataset_users + from core.discovery.ontology import load_datasets + + _USERS = dataset_users(load_datasets()) + return _USERS + + +CONN_CLS = {"adapter": "go", "case": "info", "api_key": "warn", "file": "plain", "manual": "plain"} + + +def conn_cell(d) -> str: + """데이터 연동: 연결 방식 배지 + 펼치면 명령·코드.""" + from core.data import connector + + c = connector(d, data_users()) + steps = "".join(f"
  • {e(x)}
  • " for x in c["steps"] if x) + py = f"
    {e(c['python'])}
    " if c["python"] else "" + return ( + f"
    {e(c['label'])}" + f"
    {e(c['code'])}
    {py}
      {steps}
    " + ) + + def dataset_table(ds) -> str: rows = "".join( f"{e(d.name)}
    {e(d.provider)} · {PORTAL_KO.get(d.portal, d.portal)}
    " f"{role_badges(d.roles)}{e(d.space)} × {e(d.time)}" - f"{ACCESS_KO[d.access]}
    {e(d.approval)}
    " + f"{conn_cell(d)}" for d in ds ) return ( - "
    " + "
    데이터셋역할단위받는 법
    " f"{rows}
    데이터셋역할단위받는 법 (연동)
    " ) @@ -582,6 +613,89 @@ def how_sections() -> str: ] +def issue_candidates( + topics, issues, today: str | None = None, days: int = 180, n: int = 10 +) -> list[dict]: + """자동으로 모은 이슈 후보: 법제처 변경(근거 법률 개정·지정 해제 이력) · 최근 7일 뉴스 · 사이트 질문. + 사람이 확인해 issues.yaml 에 옮기기 전까지는 '후보'다.""" + import datetime as _dt + + today = today or _dt.date.today().isoformat() + since = (_dt.date.fromisoformat(today) - _dt.timedelta(days=days)).isoformat() + have = {i.topic for i in issues} + tt = load_trends().get("topics", {}) + out = [] + for t in topics: + df = legal_frame(t) + if df is not None: + core = legal_core(t, df) + core = core[ + (core["effective"] <= today) + & (core["effective"] >= since) + & (core["change"] != "타법개정") + ] + for _, r in core.sort_values("effective", ascending=False).head(2).iterrows(): + out.append( + { + "date": r["effective"], + "topic": t, + "kind": "법령 개정", + "title": f"{r['name']} {r['change']}", + "url": r.get("url") or "", + } + ) + news = tt.get(t.id, {}).get("news", 0) + if news and t.id not in have: + out.append( + { + "date": load_trends().get("updated", ""), + "topic": t, + "kind": "뉴스", + "title": f"최근 7일 기사 {news}건 — 지금 이슈 항목 없음", + "url": tt.get(t.id, {}).get("news_url", ""), + } + ) + q = tt.get(t.id, {}).get("questions", 0) + if q: + out.append( + { + "date": load_trends().get("updated", ""), + "topic": t, + "kind": "사이트 질문", + "title": f"최근 30일 질문 {q}건", + "url": "", + } + ) + return sorted(out, key=lambda x: x["date"], reverse=True)[:n] + + +def issue_sources(issues, topics) -> str: + """지금 이슈는 어디서 오나 + 자동 후보.""" + cands = issue_candidates(topics, issues) + rows = "".join( + f"
  • {e(c['date'])}{e(c['kind'])} " + f"{e(c['topic'].name)} — " + + (f"{e(c['title'])}" if c["url"] else e(c["title"])) + + f" 이슈로 제안
  • " + for c in cands + ) + snap = [ + json.loads(f.read_text(encoding="utf-8")).get("fetched", "") + for f in (ROOT / "catalog" / "snapshots").glob("legal_*.source.json") + ] + return f"""

    지금 이슈는 어디서 오나

    +
    +

    사람이 확인한 이슈 {len(issues)}개

    아래 목록. 시행일·대상을 정부 공식 자료(정책브리핑·고시·보도자료)로 확인해 catalog/issues.yaml에 적었습니다. 이슈마다 '공식 출처' 링크가 붙습니다.

    +

    자동으로 모은 후보

    법제처 법령·행정규칙 변경(매일 수집, 매주 변경 감지) · 최근 7일 뉴스 언급 · 사이트 질문과 결과 없던 검색어. 사람이 확인하기 전까지는 후보입니다.

    +

    이슈가 되기까지

    후보의 '이슈로 제안' → 작업 제안 이슈 → 자동 가설·데이터 점검 댓글 → 메인테이너가 시행일 근거를 확인해 issues.yaml 에 추가.

    +
    +

    자동으로 모은 이슈 후보

    +
      {rows or "
    • 지금은 후보가 없어요.
    • "}
    +

    법령 목록 수집일 {e(max(snap, default="-"))} — 법제처 인증값(LAW_OC)이 등록되면 매일 갱신됩니다. 뉴스 언급은 기사 수만 셉니다.

    """ + + def issues_page(issues, datasets, topics) -> str: by_ds = {d.id: d for d in datasets} by_topic = {t.id: t for t in topics} @@ -614,6 +728,8 @@ def issues_page(issues, datasets, topics) -> str: f'{sup}' f"
    난이도
    {dots(i.difficulty)}
    " f"

    받을 수 있는 데이터

    {dataset_table(ds)}" + f"

    이 이슈의 데이터와 받는 법을 한 번에: python -m core.data issue {e(i.id)} · " + f"자동 수집기가 있는 데이터는 python -m core.data fetch <id>

    " f"

    조심할 점

      {pits}
    " f'

    {e(t.name)} 주제 전체 보기 →

    ' ) @@ -624,7 +740,8 @@ def issues_page(issues, datasets, topics) -> str: 어떤 데이터를 받을 수 있는지 정리했습니다. 시작일은 모두 정부 공식 자료에서 확인했습니다.

    -

    효과 추정 5단계

    {guide}
    +{issue_sources(issues, topics)} +

    효과 추정 5단계

    {guide}

    분석 방법 고르기

    방법은 데이터 모양을 보고 규칙이 정합니다. 결과를 본 뒤 사람이나 AI가 고르지 않습니다.

    {designs}

    정책별 가이드

      {toc}
    {"".join(sections)}
    """ @@ -708,7 +825,7 @@ def data_page(datasets, topics, issues) -> str: f"{e(d.name)}
    {e(d.provider)} · {PORTAL_KO.get(d.portal, d.portal)}
    {meas}" f"{role_badges(d.roles)}" f"{e(d.space)} × {e(d.time)}
    {e(d.period)}
    " - f"{ACCESS_KO[d.access]}
    {e(d.approval)}
    " + f"{conn_cell(d)}" f"{e(d.license)}" f"{' · '.join(e(tname.get(t, t)) for t in d.topics)}" f"{e(d.verified[:10])}" @@ -745,7 +862,7 @@ def data_page(datasets, topics, issues) -> str: {len(datasets)}개 -
    +
    데이터셋역할단위받는 법이용 조건주제확인
    {"".join(rows)}
    데이터셋역할단위받는 법 (연동)이용 조건주제확인

    이용 조건이 other인 것은 포털에 공공누리 유형 없이 "이용허락범위 제한 없음"으로만 적힌 경우입니다. KOGL-3(변경금지)은 가공한 데이터를 다시 배포할 때 주의하세요.

    diff --git a/site/search.js b/site/search.js index d610002..71aa4e5 100644 --- a/site/search.js +++ b/site/search.js @@ -114,22 +114,49 @@ box.hidden = false; if (window.track) window.track("claim-check"); } - function counts(hits) { + function counts(pool) { // 탭마다 개수: 검색어가 있으면 찾은 것, 없으면 전체 목록 document.querySelectorAll(".sf").forEach((b) => { - const n = b.dataset.t ? hits.filter((it) => it.t === b.dataset.t).length : hits.length; - b.querySelector(".n").textContent = hits.length ? n : ""; - b.disabled = !!b.dataset.t && hits.length > 0 && n === 0; + const n = b.dataset.t ? pool.filter((it) => it.t === b.dataset.t).length : pool.length; + b.querySelector(".n").textContent = n; + b.classList.toggle("zero", n === 0); }); } + const TAB_HINT = { + result: "판정이 나온 분석이에요. 카드를 누르면 쓸 수 있는 문장·데이터 계보·재현 방법이 나와요.", + project: "계획·수집 단계라 아직 판정이 없는 분석이에요.", + issue: "사람이 정부 공식 자료로 시행일을 확인한 정책이에요. 출처: catalog/issues.yaml (자동 후보는 '지금 이슈' 화면).", + topic: "주제마다 이슈 → 데이터 → 계보 → 분석 → 대시보드가 어디까지 왔는지 보여요.", + law: "법제처에서 자동으로 모은 근거 법령·행정규칙이에요.", + lineage: "데이터가 정책·가공·지표를 거쳐 분석으로 가는 길이에요.", + dataset: "공공데이터마다 받는 법(자동 수집 · 참여자 코드 · API 키 · 파일)이 붙어 있어요.", + }; + function tabView(t, list, q) { // 전체가 아닌 탭: 그 종류만 같은 모양으로 + const head = `

    ${TAB_HINT[t]}

    `; + if (!list.length) { + return head + `

    ${q ? `'${esc(q)}' 검색 결과에는 이 종류가 없어요. 검색어를 바꾸거나 '전체'에서 다른 종류를 보세요.` : "아직 없어요."}

    `; + } + return head + group(t, list); + } function render(q) { const qn = norm(q), tks = tokens(q); - idle.hidden = !!qn; - if (!qn) { res.innerHTML = ""; none.hidden = true; verdict.hidden = true; $("#claim").hidden = true; counts([]); return 0; } + const claimBox = $("#claim"); + if (!qn) { // 검색어 없음: 전체 탭은 안내, 다른 탭은 그 종류 전체 목록 + counts(items); + verdict.hidden = true; claimBox.hidden = true; none.hidden = true; + idle.hidden = !!kind; + res.innerHTML = kind ? tabView(kind, items.filter((it) => it.t === kind), "") : ""; + return 0; + } + idle.hidden = true; const hits = items.map((it) => [it, score(it, tks, qn)]).filter(([, s]) => s > 0).sort((a, b) => b[1] - a[1]).map(([it]) => it); counts(hits); - const shown = kind ? hits.filter((it) => it.t === kind) : hits; - res.innerHTML = ORDER.map((t) => [t, shown.filter((it) => it.t === t)]).filter(([, xs]) => xs.length).map(([t, xs]) => group(t, xs)).join(""); const results = hits.filter((it) => it.t === "result"); + if (kind) { // 종류 탭: 판정 패널 없이 그 종류만 + verdict.hidden = true; claimBox.hidden = true; none.hidden = true; + res.innerHTML = tabView(kind, hits.filter((it) => it.t === kind), q); + return hits.length; + } + res.innerHTML = ORDER.map((t) => [t, hits.filter((it) => it.t === t)]).filter(([, xs]) => xs.length).map(([t, xs]) => group(t, xs)).join(""); renderClaim(q, results); const propose = `${REPO}/issues/new?template=case-proposal.yml&title=${encodeURIComponent("[작업] " + q.trim().slice(0, 60))}`; $("#snone-propose").href = propose; @@ -181,6 +208,7 @@ const q = new URLSearchParams(location.search).get("q") || ""; input.value = q; if (q) run(q, true); + else render(""); }).catch(() => { res.innerHTML = '

    검색 목록을 불러오지 못했어요. 새로고침해 보세요.

    '; }); input.addEventListener("input", () => run(input.value, false)); document.addEventListener("keydown", (ev) => { // '/' 로 검색창에 바로 diff --git a/site/search.py b/site/search.py index 8579fed..d5af1b1 100644 --- a/site/search.py +++ b/site/search.py @@ -17,6 +17,7 @@ from __future__ import annotations import json +from urllib.parse import urlparse REPO = "https://github.com/CausalInferenceLab/policy-effect-analytics-agent" TYPE_KO = { @@ -96,7 +97,7 @@ def index(topics, issues, datasets, answers, projects, lineages) -> list[dict]: { "t": "issue", "title": i.name, - "sub": i.issue, + "sub": f"{i.issue} · 근거 {urlparse(i.source).netloc}", "url": f"issues.html#{i.id}", "topic": i.topic, "badge": f"시행 {i.effective}", @@ -134,6 +135,8 @@ def index(topics, issues, datasets, answers, projects, lineages) -> list[dict]: "kw": "", } ) + from core.data import connector + users = dataset_users(datasets) for d in datasets: n = len(users.get(d.id, [])) @@ -145,9 +148,7 @@ def index(topics, issues, datasets, answers, projects, lineages) -> list[dict]: "url": d.url, "topic": d.topics[0] if d.topics else None, "topics": d.topics, - "badge": {"treatment": "처치", "outcome": "결과", "covariate": "통제"}.get( - d.roles[0], "" - ), + "badge": connector(d, users)["label"].split(" · ")[0], "kw": _j(" ".join(d.measures), " ".join(tname.get(x, "") for x in d.topics)), } ) diff --git a/site/style.css b/site/style.css index 9705137..3646317 100644 --- a/site/style.css +++ b/site/style.css @@ -584,7 +584,8 @@ details.ask > summary span { font-weight: 400; font-size: 14px; color: var(--mut .sf .n { font-size: 12px; margin-left: 5px; color: var(--muted); font-variant-numeric: tabular-nums } .sf:hover { color: var(--ink) } .sf[aria-pressed=true] { color: var(--ink); font-weight: 700; border-bottom-color: var(--ink) } -.sf:disabled { opacity: .35; cursor: default } +.sf.zero { color: var(--muted) } .sf.zero .n { opacity: .6 } +.tab-hint { font-size: 14px; color: var(--ink2); margin: 0 0 14px } .v-panel { --v: var(--warn); --v-bg: var(--warn-bg); position: relative; background: var(--surface); border: 1px solid var(--hair); border-radius: 20px; padding: 22px 26px 18px 34px; margin: 0 0 26px; overflow: hidden; animation: v-in .22s ease-out } @@ -713,3 +714,13 @@ details.ask > summary span { font-weight: 400; font-size: 14px; color: var(--mut .hot-h { font-size: 16px; margin: 22px 0 8px } .hot { margin: 0; padding-left: 22px; display: flex; flex-direction: column; gap: 6px } .hot li a { margin-right: 10px } + +/* 데이터 연동 */ +details.conn summary { cursor: pointer; list-style: none } +details.conn summary::-webkit-details-marker { display: none } +details.conn[open] { min-width: min(420px, 70vw) } +details.conn pre.code { margin: 8px 0 4px; font-size: 12px; white-space: pre-wrap; word-break: break-all } +details.conn ul { margin: 4px 0 0; padding-left: 18px } +.cands { list-style: none; padding: 0; margin: 0; display: flex; flex-direction: column; gap: 8px } +.cands li { display: flex; flex-wrap: wrap; gap: 6px 10px; align-items: baseline; padding: 8px 0; border-bottom: 1px solid var(--hair) } +.cands .when { font-size: 13px; color: var(--muted); font-variant-numeric: tabular-nums; min-width: 84px } diff --git a/tests/test_data_connect.py b/tests/test_data_connect.py new file mode 100644 index 0000000..58f39c7 --- /dev/null +++ b/tests/test_data_connect.py @@ -0,0 +1,73 @@ +"""데이터 연동(core.data)과 지금 이슈의 출처·자동 후보, 검색 탭.""" + +import sys +from pathlib import Path + +import pytest + +from core.data import connector, fetch, main +from core.discovery.links import dataset_users +from core.discovery.ontology import load_datasets, load_issues + +ROOT = Path(__file__).resolve().parents[1] +DS = {d.id: d for d in load_datasets()} +USERS = dataset_users(list(DS.values())) + + +def test_every_dataset_has_a_connector(): + kinds = {connector(d, USERS)["kind"] for d in DS.values()} + assert kinds <= {"adapter", "case", "api_key", "file", "manual"} + for d in DS.values(): + c = connector(d, USERS) + assert c["label"] and c["code"] and c["steps"] + + +def test_builtin_adapters_are_wired(): + assert ( + connector(DS["DT_1B040A3"])["kind"] == "adapter" + and 'tblId="DT_1B040A3"' in connector(DS["DT_1B040A3"])["python"] + ) + assert connector(DS["15126468"])["env"] == "DATA_GO_KR_API_KEY" + assert connector(DS["OA-12914"])["auto"] is True + + +def test_case_code_is_offered_when_a_participant_already_fetched_it(): + c = connector(DS["airkorea-final"], USERS) + assert c["kind"] == "case" and "yesolee-green-traffic" in c["code"] + + +def test_fetch_refuses_without_adapter(): + with pytest.raises(ValueError): + fetch(DS["15134761"]) + + +def test_cli_issue_lists_all_issue_datasets(capsys): + iss = load_issues()[0] + assert main(["issue", iss.id]) == 0 + out = capsys.readouterr().out + assert iss.source in out and all(x in out for x in iss.datasets if x in DS) + + +def test_issue_sources_and_candidates(): + sys.path.insert(0, str(ROOT / "site")) + import build + + from core.discovery.catalog import load_topics + + topics, issues = load_topics(), load_issues() + c = build.issue_candidates(topics, issues, today="2026-11-08") + assert c and all(x["kind"] in {"법령 개정", "뉴스", "사이트 질문"} for x in c) + assert all(x["date"] <= "2026-11-08" for x in c) + html = build.issue_sources(issues, topics) + assert ( + "지금 이슈는 어디서 오나" in html + and "이슈로 제안" in html + and "catalog/issues.yaml" in html + ) + + +def test_search_tabs_behave_the_same(): + js = (ROOT / "site" / "search.js").read_text(encoding="utf-8") + assert "b.disabled" not in js # 0개인 탭도 눌러서 빈 안내를 본다 + assert "function tabView" in js and "TAB_HINT" in js + assert 'render("")' in js # 검색어 없이도 탭별 전체 목록