Butterfly Foundation
전체 실험 결과 요약

관측 시퀀스 모델의 정확도가 높아지는 것과 좋은 의사결정 readout을 얻는 것은 같은 문제가 아닙니다. 같은 사건모델을 사용해도 chance-node 연산자가 다르면 생성과 통제의 가치가 구조적으로 달라집니다.

논문 PDF 재현 패키지 Markdown 원문 다운로드

가장 중요한 결론

더 정확한 예측모델은 잘못된 의사결정 readout을 교정하지 않습니다. 오히려 모델이 정확해질수록 잘못된 연산자의 구조적 오류가 더 명확해집니다.

EXACT IDENTITIES

정확식 검증

8020개 환경 × 4개 factorial cell

20,736환경별 전체 trajectory 열거

1.42×10⁻¹⁴최대 항등식 잔차

1×10⁻¹⁰사전 기각 기준

ARM–EBM factorization, 국소–전역 gap recursion, 기준측도 audit, 경로별 choice/event 분해, 사건 innovation의 조건부 평균 0, KL-regret 항등식이 모두 수치 정밀도 내에서 통과했습니다.

FACTORIAL DESIGN

Entropy와 return dispersion

Transition entropy	Return dispersion	평균 root gap	생성정책 실제 regret
Low	Low	0.009	약 0
High	Low	0.017	약 0
Low	High	0.440	0.047
High	High	0.896	0.056

낮은 return dispersion에서는 entropy가 높아도 gap이 작습니다. 높은 dispersion에서는 gap이 크게 증가하고, 높은 entropy는 그 분산을 더 많이 노출합니다. 핵심 원인은 entropy 자체가 아니라 사건 이후 continuation return의 조건부 분포입니다.

TABULAR LEARNING

데이터가 늘어날 때

10개 환경 seed × 5개 데이터 seed × 6개 표본크기 × 5개 gate threshold로 1,500개 결과를 계산했습니다.

지표	N=100	N=30,000
Exact trajectory KL	0.790	0.179
관측점유 가중 event TV	0.147	0.060
통제 readout 가치오차	0.195	0.036
생성 readout 가치오차	0.347	0.893

0.036 ↓통제 readout 가치오차vs0.893 ↑생성 readout 가치오차

생성 readout의 가치오차가 커진 것은 학습 실패가 아닙니다. 추정모델이 정확해질수록 생성 readout이 통제값이 아니라 자신의 구조적 값으로 수렴했기 때문입니다. 0.893은 high/high 세계의 정확한 구조적 gap 0.896과 거의 같습니다.

SUPPORT GATE

지원범위의 비용

지원된 chance mass0.989 → 0.704
지원영역 최대 TV0.610 → 0.187
Coverage restriction cost0.247 → 2.230
Gate 내부 regret0.045 → 0.006

더 강한 gate는 지원영역의 최대오차를 줄이지만 가치 있는 선택까지 배제합니다. 서비스는 평균 정확도뿐 아니라 지원범위와 배제비용을 함께 보여주어야 합니다.

CAUSAL TRANSFORMER

동일 모델, 다른 readout

CONTROL0.028가치오차0.003정책 regret

GENERATION0.968가치오차0.060정책 regret

50개 Transformer를 학습해 100개 cell 결과를 얻었습니다. 두 readout은 동일한 모델과 보상을 사용했으므로 차이는 모델 크기나 데이터가 아니라 chance-node 연산자에서 발생합니다.

ACADEMIC INTERPRETATION

논문으로서의 해석

SUPPORTED CLAIMS

생성과 통제의 차이를 chance-node operator로 특정할 수 있다.
차이는 국소 entropic gap과 미래 전파 gap으로 분해된다.
데이터가 늘어도 잘못된 readout의 구조적 오류는 사라지지 않는다.
평균 예측오차와 배포 가능한 지원영역의 최대오차는 구분해야 한다.

NOT YET CLAIMED

합성 LifeGrid가 실제 인간 삶의 인과효과를 입증한다.
Transformer가 일반적으로 최적 통제를 학습한다.
현재 uniform bound가 희소한 개인 이력에서 실용적이다.
Entropy 자체가 생성–통제 gap의 원인이다.

Butterfly Foundation전체 실험 결과 요약