Skip to content
Closed
Show file tree
Hide file tree
Changes from all commits
Commits
File filter

Filter by extension

Filter by extension

Conversations
Failed to load comments.
Loading
Jump to
Jump to file
Failed to load files.
Loading
Diff view
Diff view
1 change: 1 addition & 0 deletions .github/PULL_REQUEST_TEMPLATE.md
Original file line number Diff line number Diff line change
Expand Up @@ -15,6 +15,7 @@
- [ ] `make check` (ruff + pytest)가 통과합니다
- [ ] 다른 사람의 폴더나 `core/`를 (합의 없이) 수정하지 않았습니다
- [ ] 원자료·가공 데이터 파일을 커밋하지 않았습니다 (시뮬레이션·조례 목록 제외)
- [ ] 결과 PR이면 작성자가 아닌 리뷰어가 [검토 체크리스트](docs/ops/review-checklist.md) 여덟 항목을 리뷰 댓글로 확인했습니다

## 리뷰어에게
<!-- 특히 봐줬으면 하는 부분, 막힌 부분 -->
2 changes: 1 addition & 1 deletion README.md
Original file line number Diff line number Diff line change
Expand Up @@ -4,7 +4,7 @@

"효과 있었다", "실패했다"는 말이 나올 때 **진짜 효과인지 확인하는 장치**입니다. 정책을 받은 동네와 안 받은 동네를 공공데이터로 비교하고, 데이터가 모르면 "판단 불가"라고 정직하게 말합니다. 질문부터 데이터·계보·분석·대시보드까지 전부 오픈소스입니다.

🔎 **[정책 이름으로 찾기](https://causalinferencelab.github.io/policy-effect-analytics-agent/search.html)** — 이미 확인한 결과와 판정, 쓸 수 있는 공공데이터, 데이터 계보가 한 번에 나옵니다. 결과가 없으면 그 자리에서 분석을 요청할 수 있습니다.
🔎 **[정책 이름으로 찾기](https://causalinferencelab.github.io/policy-effect-analytics-agent/search.html)** — 이미 확인한 결과와 판정, 쓸 수 있는 공공데이터, 데이터 계보가 한 번에 나옵니다. 결과가 없으면 그 자리에서 분석을 요청할 수 있습니다. **뉴스 문장을 통째로 붙여 넣으면** 그 문장이 결과로 뒷받침되는지(뒷받침 · 범위 안 · 결과를 넘어섬 · 결과와 다름) 보여 줍니다.

[![사이트 열기](https://img.shields.io/badge/사이트-열기-1d4e89)](https://causalinferencelab.github.io/policy-effect-analytics-agent/)
[![분석 결과](https://img.shields.io/badge/분석_결과-보기-1e6a4d)](https://causalinferencelab.github.io/policy-effect-analytics-agent/results.html)
Expand Down
4 changes: 4 additions & 0 deletions catalog/projects.yaml
Original file line number Diff line number Diff line change
Expand Up @@ -4,6 +4,10 @@
# plan.yaml → 계획 · fetch.py → 수집 · flow_log.json → 분석 · discussion.md(템플릿과 다르면) → 해석
# reproduced_by: [GitHub ID, ...] — 다른 참여자가 make flow 로 같은 판정을 얻었으면 재현 이슈를 확인하고 추가합니다.
# 답 페이지의 '이 결과를 얼마나 믿을 수 있나'와 카드의 '교차 재현됨' 배지로 나옵니다.
# reviewed_by: [GitHub ID, ...] — 작성자가 아닌 사람이 docs/ops/review-checklist.md 여덟 항목을 확인했으면 추가합니다('검토됨' 배지).
# claims: 뉴스·발표에서 나온 구체적인 주장을 이 결과로 검토했을 때만 적습니다 → 답 페이지에 팩트체크 표준 마크업(ClaimReview)
# - text: "주장 문장 그대로" by: "말한 사람·기관" url: "주장이 실린 곳" date: YYYY-MM-DD
# rating: "결과와 맞음" | "범위 안" | "결과를 넘어섬" | "결과와 다름" (검토한 사람이 고름)
version: 1
projects:
- case: sgim49697-ops-gangnam-bus-2024
Expand Down
23 changes: 23 additions & 0 deletions docs/ops/review-checklist.md
Original file line number Diff line number Diff line change
@@ -0,0 +1,23 @@
# 결과 검토 체크리스트

사이트의 판정은 '이 데이터와 이 비교로는'이라는 조건이 붙은 답입니다. 작성자가 아닌 사람이 아래 여덟 가지를 확인하면 그 결과에 **검토됨** 배지가 붙습니다.
검토는 결과가 맞다는 보증이 아니라, 결과가 **자기 규칙을 지켰다**는 확인입니다. 숫자를 다시 돌려 보는 것은 [교차 재현](../../.github/ISSUE_TEMPLATE/reproduction.yml)이 따로 맡습니다.

| # | 확인할 것 | 어디서 보나 | 통과 기준 |
|---|---|---|---|
| 1 | 계획이 결과보다 먼저인가 | 답 페이지 '이 결과를 얼마나 믿을 수 있나' · `git log -- cases/<케이스>/plan.yaml` | 계획 먼저 커밋, 또는 결과 뒤 수정 이유가 discussion.md '계획에서 바뀐 것'에 있음 |
| 2 | 처치 시점이 공식 문서로 확인되나 | plan.yaml `treatment.definition` · README | 법령·고시·보도자료·조례 중 하나의 링크 |
| 3 | 비교 대상이 결과를 보고 고른 것이 아닌가 | plan.yaml `control.rationale` · fetch.py | 선정 규칙이 코드나 문장으로 고정돼 있음 |
| 4 | 데이터 이용 조건이 공개에 맞나 | plan.yaml `data_sources[].license` | 공공누리 1유형·이용허락 제한 없음, 또는 원자료를 커밋하지 않음 |
| 5 | 원자료·개인정보·키가 레포에 없나 | PR 파일 목록 | `data/`·`.env`·키 없음 |
| 6 | 판정 문장이 판정을 넘지 않나 | discussion.md '결과를 한 문장으로' · README | '크기를 판별하지 못함'·'판단 불가'를 '효과 없음'으로 쓰지 않음, 인과 단정 없음 |
| 7 | 한계가 적혀 있나 | discussion.md · plan.yaml `cautions` | 동시에 일어난 다른 사건, 대조군 오염, 측정 문제 중 해당하는 것 |
| 8 | 지표 정의가 재현 가능한가 | plan.yaml `outcomes[].definition` · fetch.py | 다른 사람이 같은 표를 만들 수 있을 만큼 구체적임 |

## 절차

1. 결과 PR에서 위 표를 복사해 PR 리뷰 댓글에 ✅/❌로 채웁니다. ❌가 있으면 작성자가 고친 뒤 다시 봅니다.
2. 여덟 개가 모두 ✅면 `catalog/projects.yaml`의 그 케이스에 `reviewed_by: [내 GitHub ID]`를 더하는 커밋을 같은 PR에 올립니다.
3. 사이트가 다시 빌드되면 결과 카드·검색 판정 패널에 **검토됨**, 답 페이지 신뢰 항목에 '검토 · 통과'가 나옵니다.

작성자 본인은 자기 결과를 검토할 수 없습니다. 멘토 예시도 같은 규칙을 따릅니다.
160 changes: 158 additions & 2 deletions site/answers.py
Original file line number Diff line number Diff line change
Expand Up @@ -381,6 +381,10 @@ def load_answers() -> list[dict]:
)[:10],
"page": f"answers/{case.name}.html",
"reproduced_by": list(meta.get("reproduced_by") or []),
"reviewed_by": list(meta.get("reviewed_by") or []),
"claims": [
c for c in meta.get("claims") or [] if isinstance(c, dict) and c.get("text")
],
"prereg": prereg(case),
**read_discussion(case),
}
Expand Down Expand Up @@ -569,6 +573,8 @@ def card(e, a: dict, topics_by_id: dict, up: str = "") -> str:
tags.append('<span class="badge stop">시뮬레이션 데이터 결과</span>')
if a["mentor"]:
tags.append('<span class="badge">멘토 예시</span>')
if a.get("reviewed_by"):
tags.append('<span class="badge go">검토됨</span>')
if a.get("reproduced_by"):
tags.append('<span class="badge go">교차 재현됨</span>')
if (a.get("prereg") or {}).get("level") == "go":
Expand Down Expand Up @@ -634,7 +640,56 @@ def trust_block(e, a: dict) -> str:
<p class="small muted">교차 재현을 하셨나요? <a href="{REPO}/issues/new?template=reproduction.yml&amp;title=%5B재현%5D%20{e(a["case"])}" data-track="reproduce">재현 기록 남기기</a></p></section>"""


def _usage(e, a: dict) -> str:
def primary_range(a: dict) -> dict | None:
"""주 지표의 추정치·95% 범위 (로그 지표는 % 로). 문장 검증·검색 패널이 쓴다."""
r = next(
(x for x in a["results"] if x.get("est") is not None and x.get("lo") is not None), None
)
if not r:
return None
col, unit = r.get("col") or "", r.get("unit")
pct = interpret.is_log(col, unit)

def tx(v):
return round((math.exp(v) - 1) * 100 if pct else v, 4)

return {
"name": r.get("name") or col,
"est": tx(r["est"]),
"lo": tx(r["lo"]),
"hi": tx(r["hi"]),
"unit": "%" if pct else (unit or ""),
}


def takeaway(a: dict) -> dict | None:
"""판정 바로 옆에 둘 한 줄: '모른다'만 남기지 않고 그래도 말할 수 있는 것을 앞에 둔다."""
if a.get("execution_kind") == "descriptive_only":
return {
"head": "말할 수 있는 것",
"text": "연도별 관측값은 지역·연도·단위와 함께 인용할 수 있어요. 정책 효과는 추정하지 않았어요.",
}
v = a["verdict"]
if v == "conditional":
r = next((r for r in a["results"] if (r.get("said") or {}).get("rule_out")), None)
if r:
return {"head": "그래도 말할 수 있는 것", "text": r["said"]["rule_out"]}
return None
if v == "not_identified":
why = ", ".join(dict.fromkeys(w for r in a["results"] for w in r.get("why") or []))
return {"head": "판단할 수 없는 이유", "text": why or "설계 조건을 채우지 못했어요"}
if v == "identified":
p = next(iter(a["results"]), None)
if p:
return {
"head": "말할 수 있는 것",
"text": f"{p['name']} {p['effect']} (95% 범위 {p['range']})",
}
return None


def usage_rules(a: dict) -> tuple[list[str], list[str]]:
"""이렇게 쓰세요 / 이렇게 쓰면 안 됩니다 — 결과 페이지와 문장 검증이 같은 규칙을 쓴다."""
v = a["verdict"]
p = next(iter(a["results"]), None)
eff = ""
Expand Down Expand Up @@ -672,6 +727,13 @@ def _usage(e, a: dict) -> str:
)
do = [f'"이 설계로는 효과를 판단할 수 없다. 이유: {reasons}."']
dont = ["표의 숫자·p값 인용 — 진단용입니다", "'효과가 있다' 또는 '없다'"]
return do, dont


def _usage(e, a: dict) -> str:
v = a["verdict"]
descriptive = a.get("execution_kind") == "descriptive_only"
do, dont = usage_rules(a)
cite = (
f"{a['title']} — 판정: {DESCRIPTIVE_LABEL if descriptive else VERDICT.get(v, (v,))[0]}. 출처: 정책 효과 분석 플랫폼"
f"(가짜연구소 인과추론팀 오픈소스), {a['finished'] or '날짜 미상'} 실행, {SITE}/{a['page']} · 공식 평가 아님"
Expand Down Expand Up @@ -739,7 +801,7 @@ def _descriptive_page(e, a: dict, topics_by_id: dict) -> str:
<div class="hero"><nav class="crumb"><a href="../results.html">분석 결과</a> / {crumb}</nav>
<h1>{e(a["title"])}</h1><p class="lede">{e(a["question"])}</p></div>
<section><div class="card answer-box"><span class="badge info big">{DESCRIPTIVE_LABEL}</span>
<p>연도별 관측값을 정리했습니다. 인과효과 추정은 실행하지 않아 정책 효과를 판단할 수 없습니다.</p>{author}</div></section>
<p>연도별 관측값을 정리했습니다. 인과효과 추정은 실행하지 않아 정책 효과를 판단할 수 없습니다.</p>{takeaway_html(e, a)}{author}</div></section>
{_usage(e, a)}
<section id="evidence"><h2>관측 통계</h2>{changed}<div class="figs" style="grid-template-columns: minmax(0, 1fr)">{figs}</div>
<h3>연도별 관측값</h3><div class="tablewrap"><table><tr>{header}</tr>{rows}</table></div>
Expand All @@ -757,6 +819,99 @@ def _descriptive_page(e, a: dict, topics_by_id: dict) -> str:
<script>document.querySelectorAll('[data-copy]').forEach(b=>b.addEventListener('click',()=>{{const t=document.getElementById(b.dataset.copy).textContent;(navigator.clipboard?navigator.clipboard.writeText(t):Promise.reject()).then(()=>{{b.textContent='복사됨'}}).catch(()=>{{b.textContent='직접 선택해 복사하세요'}})}}))</script>"""


CLAIM_RATINGS = {"결과와 맞음": 4, "범위 안": 3, "결과를 넘어섬": 2, "결과와 다름": 1}


def jsonld(a: dict) -> str:
"""검색엔진용 구조화 데이터. 결과 표(CSV)는 Dataset 으로, 사람이 적은 claims 가 있을 때만 ClaimReview.

ClaimReview 는 '누군가 실제로 한 주장'을 검토했을 때만 쓴다(질문을 주장처럼 꾸미지 않는다).
"""
org = {
"@type": "Organization",
"name": "가짜연구소 인과추론팀 (정책 효과 분석 플랫폼)",
"url": SITE,
}
lab = (
DESCRIPTIVE_LABEL
if a.get("execution_kind") == "descriptive_only"
else VERDICT.get(a["verdict"], (a["verdict"] or "-",))[0]
)
csv_name = (
f"{a['case']}-descriptive.csv"
if a.get("execution_kind") == "descriptive_only"
else f"{a['case']}.csv"
)
items = [
{
"@context": "https://schema.org",
"@type": "Dataset",
"name": a["title"],
"description": f"{a['question'] or a['title']} — 판정: {lab}. 공공데이터로 정책을 받은 곳과 안 받은 곳을 비교한 결과표. 공식 평가가 아닙니다.",
"url": f"{SITE}/{a['page']}",
"creator": org,
"isAccessibleForFree": True,
"inLanguage": "ko",
"keywords": ["정책 효과", "공공데이터", "인과추론", lab],
"variableMeasured": [r["name"] for r in a["results"]][:6] or None,
"dateModified": a["finished"] or None,
"distribution": [
{
"@type": "DataDownload",
"encodingFormat": "text/csv",
"contentUrl": f"{SITE}/answers/{csv_name}",
}
],
}
]
for c in a.get("claims") or []:
rating = c.get("rating")
if rating not in CLAIM_RATINGS:
continue
items.append(
{
"@context": "https://schema.org",
"@type": "ClaimReview",
"url": f"{SITE}/{a['page']}",
"claimReviewed": c["text"],
"author": org,
"datePublished": a["finished"] or None,
"itemReviewed": {
"@type": "Claim",
"author": {"@type": "Organization", "name": c.get("by", "")},
"datePublished": c.get("date"),
"appearance": {"@type": "CreativeWork", "url": c.get("url")}
if c.get("url")
else None,
},
"reviewRating": {
"@type": "Rating",
"ratingValue": CLAIM_RATINGS[rating],
"bestRating": 4,
"worstRating": 1,
"alternateName": rating,
},
}
)

def clean(x):
if isinstance(x, dict):
return {k: clean(v) for k, v in x.items() if v not in (None, "", [])}
if isinstance(x, list):
return [clean(v) for v in x]
return x

body = json.dumps(clean(items if len(items) > 1 else items[0]), ensure_ascii=False)
return '<script type="application/ld+json">' + body.replace("</", "<\\/") + "</script>"


def takeaway_html(e, a: dict) -> str:
t = takeaway(a)
if not t:
return ""
return f'<div class="takeaway"><span>{e(t["head"])}</span><p>{e(t["text"])}</p></div>'


def page_body(e, a: dict, topics_by_id: dict, datasets_by_url: dict) -> str:
if a.get("execution_kind") == "descriptive_only":
return _descriptive_page(e, a, topics_by_id)
Expand Down Expand Up @@ -831,6 +986,7 @@ def page_body(e, a: dict, topics_by_id: dict, datasets_by_url: dict) -> str:
<section style="padding-top:24px"><div class="card answer-box {cls}">
<div class="answer-verdict"><span class="badge {cls} big">{e(lab)}</span></div>
<p style="margin:10px 0 6px"><b>{e(VERDICT_PLAIN.get(a["verdict"], ""))}</b></p>
{takeaway_html(e, a)}
{author}
<details class="small"><summary>파이프라인 자동 요약 보기</summary><p class="muted">{e(auto_summary(a))}</p></details></div></section>
{_usage(e, a)}
Expand Down
17 changes: 11 additions & 6 deletions site/build.py
Original file line number Diff line number Diff line change
Expand Up @@ -122,6 +122,7 @@ def page(
desc: str | None = None,
path: str | None = None,
image: str | None = None,
head: str = "",
) -> str:
"""공통 틀. path(사이트 안 경로)를 주면 공유 미리보기(Open Graph)용 주소·그림을 붙인다."""
up = "../" * depth
Expand Down Expand Up @@ -149,7 +150,7 @@ def page(
<meta name="viewport" content="width=device-width,initial-scale=1"><title>{e(title)}</title>
<meta name="description" content="{d}">{og}
<link rel="preconnect" href="https://cdn.jsdelivr.net" crossorigin>
<style>{CSS}</style><script src="{up}track.js" defer></script></head><body>
<style>{CSS}</style><script src="{up}track.js" defer></script>{head}</head><body>
<a class="skip" href="#main">본문으로 건너뛰기</a>
<nav class="nav" aria-label="주 메뉴"><div class="in"><a class="brand" href="{up}index.html"><span class="mark" aria-hidden="true"></span>정책 효과 분석</a>
<span class="links">{links}<a href="{REPO}">GitHub</a></span></div></nav>
Expand Down Expand Up @@ -483,13 +484,15 @@ def index_page(topics, policies, issues, datasets, projects=(), answers=(), line
<h1>그 정책, 진짜 먹혔을까?</h1>
<p class="lede">뉴스에서 "효과 있었다", "실패했다"는 말이 나올 때, 공공데이터로 '받은 동네 vs 안 받은 동네'를 비교해 진짜 효과인지 확인하는 곳이에요.
데이터가 모른다고 하면 모른다고 말하는 것까지가 이 사이트의 규칙이에요.</p>
<form class="sbox home-search" role="search" action="search.html">
<form class="qbar home-search" role="search" action="search.html">
<svg class="qbar-icon" viewBox="0 0 24 24" aria-hidden="true"><circle cx="10.5" cy="10.5" r="6.5"/><path d="m15.5 15.5 5 5"/></svg>
<label class="sr-only" for="hq">정책 검색</label>
<input id="hq" name="q" type="search" autocomplete="off" placeholder="정책·지역·키워드 (예: 토허제, 기후동행카드, 출산지원금)">
<button class="btn primary" type="submit" data-track="home-search">확인하기</button></form>
<input id="hq" name="q" type="search" autocomplete="off" placeholder="정책 이름이나 지역 (토허제, 기후동행카드…)">
<span></span><button class="qbar-go" type="submit" data-track="home-search">확인하기</button></form>
{flow}

<div class="ask" id="ask">
<details class="ask" id="ask">
<summary>검색으로 안 풀리면 대화로 물어보기 <span>주제 · 데이터 · 분석 계획 초안까지 같이 정리해 드려요</span></summary>
<div id="chat-log" class="chat-log" aria-live="polite" hidden></div>
<form id="chat-form" class="chat-form">
<label class="sr-only" for="q">궁금한 정책</label>
Expand All @@ -510,7 +513,8 @@ def index_page(topics, policies, issues, datasets, projects=(), answers=(), line
<button type="button" id="ai-off" class="btn ghost">가이드 모드로</button></div>
<p class="muted small" style="margin:8px 0 0">로컬 Ollama는 <code>OLLAMA_ORIGINS=https://causalinferencelab.github.io</code>로 실행해야 브라우저에서 부를 수 있습니다.
AI도 결과를 계산하지 않습니다. 주제·데이터·계획을 함께 정리할 뿐이고, 숫자는 레포의 분석 코드가 냅니다. 법률 자문이 아닙니다.</p></div>
</div></div>
</details>
<script>if(location.hash==="#ask")document.getElementById("ask").open=true;</script></div>

{proj.personas(e, n_answers, len(datasets))}

Expand Down Expand Up @@ -1155,6 +1159,7 @@ def main() -> None:
desc=ans.share_text(a),
path=a["page"],
image=f"cases/{a['case']}/{fig}" if fig else None,
head=ans.jsonld(a),
),
encoding="utf-8",
)
Expand Down
1 change: 1 addition & 0 deletions site/impact.py
Original file line number Diff line number Diff line change
Expand Up @@ -30,6 +30,7 @@
"search": "결과 검색",
"home-search": "홈 검색창 사용",
"search-propose": "검색 후 분석 요청",
"claim-check": "뉴스 문장 검증",
"reproduce": "재현 기록 열기",
"flow-stage": "홈 흐름 띠의 단계 누름",
}
Expand Down
Loading
Loading