# Butterfly Foundation 전체 실험 결과 요약

## 가장 중요한 결론

관측 시퀀스 모델의 정확도가 높아지는 것과 좋은 의사결정 readout을 얻는 것은
같은 문제가 아니다. 같은 추정 사건모델을 사용해도, 외생 사건에 log-sum-exp를
적용하는 생성 readout은 사건을 선택할 수 있는 것처럼 평가하고, 기대값을 적용한
통제 readout은 실제 사건 확률을 보존한다.

전체 실험은 이 차이가 단순한 구현 문제가 아니라 데이터가 증가해도 남는 구조적
차이임을 보여준다.

## 1. 정확식 검증

- 20개 환경 seed × 4개 factorial cell = 80개 완전열거 실험
- 각 환경의 전체 20,736개 trajectory 열거
- 최대 항등식 잔차: `1.42e-14`
- 사전 기각 기준: `1e-10`

ARM–EBM factorization, 국소–전역 gap recursion, 기준측도 audit, 경로별
choice/event 분해, 사건 innovation의 조건부 평균 0, KL-regret 항등식이 모두
수치 정밀도 내에서 통과했다.

## 2. 2×2 entropy/return-dispersion 실험

| Transition entropy | Return dispersion | 평균 root gap | 생성정책의 실제 regret |
|---|---:|---:|---:|
| Low | Low | 0.009 | 약 0 |
| High | Low | 0.017 | 약 0 |
| Low | High | 0.440 | 0.047 |
| High | High | 0.896 | 0.056 |

낮은 return dispersion에서는 entropy가 높아도 gap이 작다. 높은 dispersion에서는
gap이 크게 증가하며, 높은 entropy는 그 분산을 더 많이 노출한다. 따라서 gap의
원인을 “불확실성/entropy 자체”라고 부르는 것은 부정확하다. 핵심은 사건 이후
continuation return의 조건부 분포다.

## 3. Tabular 학습: 데이터가 늘어날 때

10개 환경 seed × 5개 데이터 seed × 6개 표본크기 × 5개 gate threshold로
1,500개 결과를 계산했다.

| 지표 | N=100 | N=30,000 |
|---|---:|---:|
| Exact trajectory KL | 0.790 | 0.179 |
| 관측점유 가중 event TV | 0.147 | 0.060 |
| 통제 readout 가치오차 | 0.195 | 0.036 |
| 생성 readout 가치오차 | 0.347 | 0.893 |

마지막 행이 핵심이다. 데이터가 늘어나며 생성 readout의 가치오차가 커진 것은
학습 실패가 아니다. 추정모델이 정확해질수록 생성 readout이 통제값이 아닌 자신의
정확한 구조적 값으로 수렴했기 때문이다. `0.893`은 완전정보 high/high 세계의
정확한 구조적 gap `0.896`과 거의 같다.

## 4. 지원범위와 보증의 비용

N=30,000에서 count threshold를 1에서 50으로 높이면:

- 지원된 chance mass: 0.989 → 0.704
- 지원영역 최대 TV: 0.610 → 0.187
- coverage-restriction cost: 0.247 → 2.230
- gate 내부 regret: 0.045 → 0.006

더 강한 gate는 지원영역의 최대오차를 줄이지만 가치 있는 선택까지 배제한다.
전체 이력을 상태로 사용하는 희소 공간에서는 worst-case regret bound가 실제
regret보다 훨씬 커서 비공허한 인증서가 되지 못했다. 서비스는 평균 정확도만으로
추천해서는 안 되며, 지원범위와 배제비용을 함께 보여주어야 한다.

## 5. Causal Transformer

5개 환경 seed × 5개 학습 seed × 2개 entropy 조건으로 50개 모델을 학습했고,
각 모델을 두 reward-dispersion 조건에 재사용하여 100개 cell 결과를 얻었다.

| High entropy / High dispersion | 통제 readout | 생성 readout |
|---|---:|---:|
| 평균 가치오차 | 0.028 | 0.968 |
| 실제 정책 regret | 0.003 | 0.060 |

두 readout은 동일한 Transformer 추정 사건모델과 동일한 보상을 받았다. 따라서
차이는 모델 크기나 데이터가 아니라 chance-node 연산자의 차이다. 관측 ARM의
평균 exact trajectory KL은 high-entropy에서 0.022였다.

## 논문으로서의 해석

성공한 주장은 다음과 같다.

1. 생성과 통제의 차이를 chance-node operator로 정확히 특정할 수 있다.
2. 그 차이는 국소 entropic gap과 미래에서 전파된 gap으로 분해된다.
3. 데이터가 늘어도 잘못된 readout의 구조적 오류는 사라지지 않는다.
4. 평균 예측오차와 배포 가능한 지원영역의 최대오차는 구분해야 한다.

아직 주장하지 않는 것은 다음과 같다.

- 합성 LifeGrid 결과가 실제 인간 삶의 인과효과를 입증한다는 주장
- Transformer가 일반적으로 최적 통제를 학습한다는 주장
- 현재의 uniform bound가 희소한 개인 이력에서 실용적인 인증서라는 주장
- entropy 자체가 생성–통제 gap의 원인이라는 주장

이 범위 설정이 논문의 학술적 방어력을 높이고, 후속 실제 데이터 연구의 질문을
명확히 만든다.