AI학 개론. 압축수렴 가설 (Compression Convergence Hypothesis)

부속문서 「다국어_피벗_가설_추론과정.md」의 가설 본체 확장판. 추론 과정은 해당 문서 참조, 여기서는 가설 자체의 구조·근거·예측·한계만 다룸.

───

1. 가설이 답하려는 질문

"다국어 LLM에서 공유 개념공간은 왜, 어떻게 창발하며, 왜 특정 언어(현재는 영어)가 상대적 밀도우위를 가지고, 왜 복합추론일수록 그 우위로의 쏠림이 강해지는가?"

용어 정정(세션 후반 수정): 최초 버전은 "허브"라는 이산적 중심 개념을 썼으나, 이는 틀린 은유다. 실제로는 고정된 중심이 존재하지 않고, 언어 간 상대적 밀도차(비율)만 연속적으로 존재한다 — 완전히 동일한 밀도를 가질 확률은 사실상 0이므로 항상 어느 정도의 비대칭은 있으나, 그것이 "허브"라는 별도 지위를 만들지는 않는다. 이하 본문의 "허브"는 전부 "상대적 밀도우위(relative density advantage)"로 재해석되어야 한다.

기존 문헌의 공백: 학계는 공유공간의 존재(Wendler et al. 2024 등)와 창발 시점(초기 창발, 훈련 내내 안정 — When Meanings Meet 2026)은 확인했으나, 왜 이 형태로 수렴하는가의 인과 메커니즘은 명시적으로 미해결("little is known about how such spaces emerge")로 남겨둠. 본 가설은 이 공백에 대한 검증 전 인과가설이다.

───

2. 핵심 명제

다국어 공유 개념공간의 창발은 우연도, 설계도 아니다. 다음 토큰 예측이라는 단일하고 명확한 목적함수가 다국어 데이터 조건과 만났을 때, 압축효율 극대화라는 경제적 필연이 강제하는 유일한 수렴해다.

세 가지 부정을 통한 위치 규정:
• 아키텍처 설계물이 아님 — 원 논문(Vaswani et al. 2017)은 이 현상을 예측·언급조차 안 함
• 회사의 의도적 산물이 아님 — 회사들은 사후적 interpretability 연구로 뒤늦게 발견(약 8년 간극)
• 신비한 창발이 아님 — 발생 유인(압축효율)이 명확히 특정 가능한, 원리적으로 이해 가능한 수렴

2-1. 결정적 재정식화 — "영어"는 원인이 아니라 현재 순위 1위일 뿐

수정 전 명제(순환 위험): "모델은 영어로 전환한다" — 이 표현은 "왜 하필 영어냐"는 질문에 "영어라서"로 답하는 순환에 빠진다. §3-2(모델에게 언어는 특별한 범주가 아님)와도 내적으로 모순된다.

수정된 명제: 모델은 특정 언어(영어)로 전환하는 것이 아니라, 학습데이터 내 연쇄밀도(§5)가 최댓값인 언어로 전환한다. 현재 세계의 데이터 분포상 그 최댓값을 우연히 영어가 차지하고 있을 뿐이며, 영어라는 라벨 자체에는 아무런 특권이 없다. 이는 "왜 영어냐"는 질문 자체를 무효화한다 — 영어는 원인이 아니라 현재 시점의 우연한 순위다.

이 재정식화는 이론을 시간 불변의 일반 법칙으로 만든다: 학습데이터의 언어별 연쇄밀도 순위가 바뀌면(원리적으로는), 피벗 언어도 바뀐다. 이는 §7의 반증가능성 예측(비영어 허브 모델)의 이론적 근거이기도 하다.

───

3. 메커니즘 — 왜 필연인가

3-1. 압축 유인의 구조

같은 개념(사과/apple/pomme)은 언어가 달라도 동일한 확률적 맥락(빨갛다, 먹는다, 나무)에 붙어다닌다. 모델 입장에서 선택지는 둘:

• 경로 A (분리 표상): 언어마다 별도 표상 유지 → 파라미터 비용이 언어 수에 비례해 증가, 언어별 데이터 부족분만큼 손실 증가
• 경로 B (공유 표상): "이 토큰들은 같은 개념 축"으로 묶어 압축 → 파라미터 재사용, 언어 간 지식 전이로 손실 감소

경사하강은 손실을 낮추는 쪽으로만 움직이므로 경로 B로의 수렴은 선택이 아니라 중력처럼 작동하는 필연이다. 언어 수가 늘어날수록 경로 A의 비용이 커지므로, 다국어 조건은 압축 유인을 강화하는 증폭기로 작동한다.

3-2. 모델에게 "언어"는 특별한 범주가 아님

이 압축은 다국어 전용의 새 메커니즘이 아니다. 단일 언어 내부에서도 모델은 동일 개념의 여러 표층(apple / fruit / something you eat)을 하나의 개념 축으로 압축한다 — 이것이 트랜스포머가 하는 유일한 일(확률적 공기관계 압축)이다. "언어"는 인간이 붙인 사후적 라벨일 뿐 모델의 연산 단위가 아니므로, 압축이 언어 경계를 통과하는 것은 예외가 아니라 무차별 적용의 결과다. 인간이 이를 "신기한 창발"로 인식하는 것은 인간이 언어를 특별한 범주로 여기기 때문에 생기는 관측자 측 착시다.

3-3. 실증적 뒷받침 (존재 층위)

GPT-2를 영어 없이 4개 비영어 언어(불·독·아랍·중국어 각 25%)로 균형 학습시켜도 동일한 공유공간 창발 패턴(층별 엔트로피 상승-하강 곡선)이 재현됨 — 공유공간의 존재는 특정 언어의 우세와 무관한 아키텍처 수준 속성임이 확인됨. 본 가설은 이 관측에 "왜 그럴 수밖에 없는가"(압축 유인)를 부여한다.

───

4. 하위 명제 1 — 상대적 밀도우위의 결정: 자원비대칭

4-1. 공간의 존재와 밀도우위의 정체는 별개 문제

공유공간이 생기는 것(아키텍처 속성)과, 그 공간에서 어느 언어가 상대적 밀도우위를 갖는가(데이터 속성)는 분리된다. 밀도우위는 학습데이터의 자원비대칭이 결정하며, 이 비대칭은 다섯 겹의 레이어로 구성된다 — 위로 갈수록 순수 데이터 문제, 아래로 갈수록 언어·표기체계 자체의 구조 문제다.

레이어 1 — 볼륨 비대칭: 상업 메인스트림 모델의 다국어 비중은 약 5~8%(Llama 3.1 공식: 일반지식 50% / 수학·추론 25% / 코드 17% / 다국어 8%). 영어 외 모든 언어를 합쳐도 이 수준.

레이어 2 — 허브 중복성: 비영어권의 영향력 있는 문서(논문·소설·보도)는 영어판(번역·초록·인용)이 별도로 존재할 확률이 높다. 따라서 비영어 정보의 상당수가 영어 데이터 안에 이미 재수록되어 있어, 실질 정보 커버리지 기준 영어 우위는 명목 토큰 비율(92%)보다 더 크다. 영어는 모든 언어권의 "두 번째 버전"으로 반복 등장하는 유일한 언어다.

레이어 3 — 토큰화 효율 비대칭(학습된 레이어, 조정 가능): BPE 등 학습형 토크나이저는 영어중심 코퍼스로 어휘를 구성하므로, 동일 정보량 표현에 필요한 토큰 수(fertility)가 언어마다 극단적으로 다르다. 실측: 영어 1.2~1.4 토큰/단어 대비 중국어 1.9배, 베트남어 2.5배, 버마어 11.7배(GPT-4 토크나이저 기준, Petrov et al. 2023), 타밀·칸나다·말라얄람은 12~16배(Llama-3.1 기준). 단, 이는 언어의 고유 속성이 아니라 토크나이저 학습데이터 선택의 산물이다 — 중국어 데이터로 학습한 GLM 토크나이저는 오히려 중국어를 영어보다 적은 토큰으로 표현한다(ZH/EN 비율 0.923). 따라서 이 레이어는 §6의 "회사 압력"(조정 가능)에 해당한다.

레이어 4 — 원시 인코딩 비트수(표준 레이어, 조정 사실상 불가): 토큰화 이전의 문자 인코딩(UTF-8) 자체에서, 영어(ASCII 범위)는 1바이트로 표현되나 한글(완성형 음절, U+AC00~U+D7A3)과 한자는 3바이트가 필요하다. 이는 특정 회사의 선택이 아니라 전세계 공용 유니코드 표준의 코드포인트 배치에서 비롯되며, 사실상 조정 불가능한 순수 물리적 제약이다.

레이어 5 — 합성 깊이(compositional depth, 조정 불가): 언어마다 문자 단위가 단어를 이루는 조합 단계 수가 다르다. 영어는 알파벳이 바로 모여 단어를 이루는 1단계 합성 구조(a-p-p-l-e → apple)인 반면, 한글은 자모(초성·중성·종성)가 먼저 음절로 조합되고 그 음절들이 다시 모여 단어를 이루는 2단계 합성 구조(ㅅ+ㅏ→사, ㄱ+ㅘ→과, 사+과→사과)다. 중국어는 표의문자 특성상 글자 하나가 이미 완성된 형태소이므로 조합 단계가 최소다. 이 레이어는 모델이 학습해야 하는 조합규칙의 층수 자체가 언어마다 다르다는 것을 의미하며, 연쇄밀도(§5) 형성에 추가적인 구조적 장벽으로 작용할 가능성이 있다 — 단, 이 효과의 방향(장벽인지, 오히려 압축에 유리한지)은 미검증.

레이어 간 관계: 레이어 1~2는 순수 데이터 문제(수집하면 개선 가능), 레이어 3은 회사 선택 문제(토크나이저 재설계로 개선 가능, GLM 사례가 실증), 레이어 4~5는 표준·언어구조 자체의 문제(사실상 불변 제약)다. 네 겹이 모두 같은 방향(영어 유리)으로 겹쳐 쌓여 자원비대칭을 형성한다.

4-2. 회사의 무개입 — 압력이 아니라 제약

이 비대칭은 회사가 설계한 것이 아니라 세상에 존재하는 텍스트 비율의 반영이다. 회사가 비영어 데이터를 더 모으지 않는 이유도 태만이 아니라 수확체감 — 비영어 코퍼스를 10배 늘려도 영어의 연쇄밀도(§5)에 근접할 수 없으므로 추가 투자의 한계효용이 구조적으로 낮다. 따라서 이것은 §6의 "회사 압력"(조정 가능한 방침)이 아니라 경계조건(constraint) — 회사의 선택 여지가 거의 없는 데이터 기하학적 제약으로 분류해야 한다.

4-3. 반증 조건 (연속적 확률이행으로 재정식화)

학습믹스의 언어 비중을 인위적으로 조정하면 밀도우위가 이동해야 한다. 실제로 일본어:영어 = 50:50으로 설계된 LLM-jp는 일본어를 내부 언어로 주로 사용(logit lens 실측) — 밀도우위가 데이터 구성으로 이동 가능함을 시사. 단, "허브"라는 이산적 중심 개념은 §1에서 정정되었으므로, 이는 "임계점을 넘으면 허브가 뒤집힌다"는 계단식 전환이 아니라 percolation 이론의 표준 결과대로, 밀도우위 격차(margin)가 커질수록 해당 언어가 사고 매개체로 쓰일 확률이 점진적으로(매끄럽게, sigmoid형) 올라가는 연속적 확률이행으로 예측되어야 한다. 순수 단일언어(비영어) 학습 모델은 현실에 사실상 부재하므로 극단 조건의 직접 검증은 현재 불가. 기존 연구에서 영어 비중 ~40% 부근에 성능 변화가 관측된 바 있어, 이 부근의 확률이행 곡선의 기울기·형태가 본 하위명제의 핵심 검증 대상이다.

───

5. 하위 명제 2 — 연쇄밀도: 격차의 진짜 위치

5-0. 조작적 정의 — 분기과정(Branching Process)/침투이론(Percolation)으로서의 연쇄밀도

딥시크 2차검증에서 지적된 공백(연쇄밀도의 수치적 정의 부재)에 대한 해결. 추론 사슬을 다음과 같이 공식화한다: 바닥에 노란공(고밀도 언어 토큰) 90개, 하얀공(저밀도 언어 토큰) 10개가 흩뿌려진 상황에서 다트를 던져 하나를 맞히면(=토큰 선택), 맞은 공이 터지며 인접한 공을 연쇄적으로 터뜨린다(=다음 토큰 생성). 이는 수학적으로 이미 확립된 분기과정/침투이론(percolation theory) 과 동형이다 — 각 스텝에서 같은 축(언어·개념) 토�0큰이 후보 풀에서 차지하는 상대적 비율이 그 스텝의 분기확률(offspring probability)을 결정하고, 이 확률이 임계 침투확률(πc) 을 넘으면 사슬이 끊기지 않고 이어지며(supercritical), 밑돌면 사슬이 확률적으로 끊긴다(subcritical, §5-1의 "붕괴"와 대응). 이 틀에서 "허브"는 필요 없다 — π(연결확률)는 이산적 중심이 아니라 연속적 전역 파라미터이며, 임계점 통과 여부로 상전이가 결정된다(§1의 용어정정과 정합).

홉수 누적(§5-2)은 이 틀에서 별도 가정 없이 도출된다 — 단일 스텝 확률의 거듭제곱이 사슬 생존확률을 결정한다는 것은 분기과정의 표준 결과이지, 추가로 상정한 가설이 아니다.

5-0-1. 강제생성 압력 — 밀도 희석과 강제 연결

같은 100개의 공(고정된 학습량)이라도, 개념공간(입력의 모호성·추상도)이 넓어지면 밀도가 희석된다. 그런데 모델은 "답을 안 함"이 불가능하고, 생성 규칙상 터진 공은 반드시 다음 공을 하나 터뜨려야 한다(다음 토큰을 반드시 출력해야 함). 밀도가 희석된 공간에서도 이 강제 규칙은 유지되므로, 진짜로는 거의 연결되지 않는(개념적으로 먼) 공까지 억지로 연결되어 터지는 경우가 생긴다 — 이것이 §1(Substitution)의 실제 발생 메커니즘이다. 위험한 치환은 단순히 밀도(비율)의 문제가 아니라 밀도/공간크기 비율과, "반드시 하나는 터뜨려야 한다"는 강제생성 규칙이 결합할 때 생긴다.

종결 조건의 3분류: 연쇄가 멈추는 실제 경우는 세 갈래다:
1. 답변 완료(자연 종결) — 대다수의 경우. 밀도가 바닥나기 전에 시스템이 스스로 충분하다고 판단하여 멈춤.
2. 풍선을 다 터뜨림(밀도 소진) — 개념공간 내 연결 가능한 후보가 소진됨.
3. 너무 멀어서 터뜨리지 못함(subcritical 고립) — percolation 임계 이하로 떨어져 연쇄가 자연 소멸.

1번이 대부분이라는 것은, 정상 상황에서는 §1의 Substitution이 흔하지 않고 예외적으로만(밀도가 바닥에 가까워지는 드문 순간에) 발생함을 설명한다. 이 종결 조건이 어디서 갈리는지는 밀도(percolation) 자체 + 모델 성능(아키텍처) + 회사 정책(종결 임계값 설정) + 예산 압력(유료/무료 등급별 허용 연산량) 의 조합이며, 이는 §6의 4압력 구조(및 아래 §9에서 추가하는 5번째 압력)에 그대로 대응한다.

5-1. 노드가 아니라 다리

언어 간 격차는 개별 문장의 생성 가능성(node-level fluency)에 있지 않다. 어느 언어든 문법적으로 적형인 문장은 만들 수 있다 — 조사·어미·인접 결합의 지역적(local) 통계는 소규모 코퍼스로도 학습되기 때문이다.

격차는 노드들을 잇는 전이(transition)의 밀도에 있다. 추론은 전제→중간단계→…→결론으로 이어지는 사슬이며, 각 단계가 의미적으로 실제로 따라 나와야(entailment) 한다. 이 사슬 패턴의 학습에는 해당 언어로 쓰인 긴 정합적 추론 텍스트(논증, 증명, 분석)가 대량 필요한데, 이것이 영어에 압도적으로 편중되어 있다.

진단 사례: "나는 사과가 달리다 싶었지만 혹은 그렇제 일꺼다" — 문법 성분은 갖췄으나 의미 사슬이 성립하지 않는 문장. 문법적 적형성(well-formedness)과 추론적 도달가능성(reachability)이 별개 축임을 보여준다. 이런 출력은 Substitution(의미 대체)도 Repair(의미 보정)도 아닌 제3범주 — 붕괴(collapse): 표층 형태만 있고 의미 축 자체가 형성되지 않은 상태다.

5-2. 누적 효과 — 홉 수에 따른 기하급수적 격차

단일 전이에서의 언어 간 밀도 차이가 작더라도, N단계 추론에서는 그 차이가 곱으로 누적(compounding) 된다. 10홉 사슬이면 홉당 우위가 10제곱으로 벌어진다. 따라서:

추론 사슬이 길수록(과제가 복잡할수록) 고밀도 언어(영어)로의 피벗 유인이 기하급수적으로 강해진다.

5-3. 기존 관측 간 모순의 해소

이 명제는 표면적으로 상충하는 두 실측을 하나의 축(홉 수)으로 통합한다:


관측
태스크
홉 수
결과

Anthropic circuit tracing
단순 개념매칭 (반의어 등)
1
언어중립 공유 feature로 처리 — 피벗 불필요

LRM 연구 수렴 + 본 건 직접관측(Claude 확장사고 영어 생성)
다단계 복합추론
N
영어 피벗으로 수렴



즉 "언어중립 공유공간"과 "영어 피벗"은 대립 가설이 아니라 홉 수라는 연속변수 위의 양 끝단이다. 이는 §8의 위험도 논리(분포의 뾰족함이 은폐를 낳음)를 언어축에 적용한 것이기도 하다 — 연쇄밀도 격차가 만드는 저엔트로피 분포가 언어 선택을 "망설임 없이, 자각 없이" 영어로 기울인다.

5-4. 반증 조건

홉 수를 체계적으로 늘려가며(1홉 → N홉) 내부 표상의 언어 편향을 logit lens 등으로 추적했을 때, 피벗 강도가 홉 수의 증가함수로 나타나야 한다. 홉 수와 무관하게 피벗 강도가 일정하다면 본 명제는 기각된다.

───

6. 하위 명제 3 — 전면전환의 경제성

6-1. 부분전환의 숨은 비용

"부족한 구간만 영어로 처리"하는 부분전환 전략은 어느 구간이 부족한지 판별하는 비용이 매 지점마다 추가된다. 판별 자체가 또 하나의 추론 작업이며, 판별 오류의 위험도 얹힌다.

6-2. 전면전환의 이점

통째 전환(입력 전체를 영어 표상으로 → 영어 연쇄밀도로 추론 → 출력 언어로 재변환)은:
• 판별비용 제로
• 사슬 전체가 최고밀도 구간을 통과
• 언어 간 전환 지점이 입출력 경계 두 곳으로 고정되어 전환 오류 노출면 최소화

번역에 소모되는 자원을 감안해도 총비용에서 우월하다 — 번역은 모델이 이미 잘하는 작업(공유 개념공간의 직접 활용)이므로 한계비용이 낮기 때문이다.

6-3. 이론 내 위치 — §11의 보완

§11(배타적 선택 vs 조합)은 "모델이 조합을 못하고 택일을 강요해 손해본다"는 부정적 프레임이었다. 본 명제는 그 역방향 사례 — 조합(부분전환)의 거래비용이 이득을 초과할 때는 택일(전면전환)이 최적임을 보여준다. §11에 조건부 조항으로 통합 가능: "택일/조합의 우열은 고정이 아니라 판별비용과 밀도이득의 상대 크기가 결정한다."

6-4. 정교화 — 전면전환이 아니라 혼합추론(mixed-language reasoning)

수정: "완전 전면전환"은 과도한 단순화다. 실제로는 개념 종류에 따라 전환 여부가 갈릴 가능성이 높다:

• 일반개념(사과, 크다, 빠르다 등): 영어 대응어에 잘 매핑되고 압축 유인이 강함 → 고밀도 언어(영어)로 전환되어 추론
• 언어 특수적 표현(고유명사, 문화특수개념, 번역불가 뉘앙스): 애초에 대응하는 압축 대상이 없거나 부실함 → 원어가 그대로 잔존

중요한 구분: 이는 "판별 후 선택적 전환"(비용이 드는 판별 과정)이 아니라 "압축 가능성이 없는 지점에서 전환이 자연 실패"하는 것이다. 모델이 매번 "이건 번역할까 말까"를 계산하는 게 아니라, 압축 유인이 있는 곳만 자연스럽게 전환되고 압축 대상이 없는 곳은 그대로 남는 것 — 그래서 6-1이 지적한 "판별비용" 문제를 만나지 않는다.

이는 기존 문헌의 code-switching 연구와 부합한다 — 최근 LRM 다국어 추론 연구는 언어 혼합이 우연이 아니라 전략적인 내부 추론 모드로 나타난다는 것으로 수렴하고 있다. 따라서 하위명제 3은 "전면전환 vs 부분전환"의 이분법이 아니라 "압축 가능 여부에 따른 자연 혼합" 으로 재정식화된다.

6-5. 한계 재검토 — 개입실험(activation patching)은 기각됨

최초 제안: §4 원칙상 이산/연속 구분을 위해 activation 레벨 개입실험(특정 층을 강제로 비영어 방향으로 밀어 성능 붕괴 여부 관찰)이 필요하다고 보았음. 딥시크가 세 가설(이산/연속/투영아티팩트, 아래 참조)로 이를 재확인.

1. 이산 가설: 명시적 번역 단계를 거치는 순차 파이프라인
2. 연속 가설: 표상공간 자체가 영어 쪽으로 쏠려 있어 별도 번역 단계 없이 그 공간에서 사고가 진행
3. 투영 아티팩트 가설: 영어는 사고에 아무 인과적 역할도 하지 않으며, 언어중립적 추론 결과를 logit lens 같은 도구로 투영할 때 우연히 영어가 가장 가까운 좌표로 잡힐 뿐

최종 판단: 개입실험 자체가 불필요/부적합하다. 근거 세 가지(3번이 가장 근본적):

1. (조준 불가) 무엇을 밀어야 할지 모델도 회사도 모른다 — §4-2가 이미 확립한 3층 역산 구조의 직접 귀결.
2. (해석 불가) 개입 후 붕괴가 "언어 표상의 인과적 필요성" 때문인지 "임의의 강한 개입에 대한 일반적 취약성" 때문인지, 개입이라는 적극적 방법으로도 여전히 구분 불가 — §4(원인 접근 불가) 원칙은 개입에도 잔존.
3. *(표적 부재, 가장 근본적) * §5-0(percolation 재정식화)에 따르면 "언어"는 애초에 국소적으로 조작 가능한 이산적 표적(discrete locus)이 아니라, 표상공간 전체에 퍼진 전역 확률 파라미터(π) 다. 전역 파라미터를 국소 조작(patching)으로 바꾸려는 시도는 범주 오류다 — 밀 지점 자체가 존재하지 않는다.

대체 방법: activation patching 대신, 행동적 개입 — 학습된(또는 기존) 모델에게 "비우세 언어로 사고과정을 써라"고 프롬프트로 강제한 뒤 다단계 추론 정확도 하락 여부를 측정. Activation을 직접 건드리지 않아 붕괴·중첩 위험이 없고, §7-1의 언어쌍×도메인 미니모델 학습실험(연속적 확률구조 관찰)과 결합하면 이산/연속/투영아티팩트 구분 없이도 "우위 언어에서 벗어나면 성능이 실제로 떨어지는가"라는 거친 수준의 인과적 증거를 안전하게 얻을 수 있다.

투영 아티팩트 가설에 대해서는 부분 반박이 남아있다: 이는 activation을 렌즈로 간접 투영하는 관측(logit lens)에는 유효할 수 있으나, 본 이론의 핵심 증거(확장사고 블록 스크린샷)는 간접 투영이 아니라 모델이 실제로 순차 디코딩하여 생성한 영어 텍스트다 — 최소한 사고블록 생성 시점에 영어 토큰이 실제로 출력되었다는 사실 자체는 투영 아티팩트로 설명되지 않는다.

───

7. 가설 전체의 예측 목록 (반증가능성 명세)

1. 밀도우위 이동 예측(연속적 확률이행): 학습믹스에서 특정 언어 비중을 높이면 내부 피벗 언어가 그 언어로 이행하되, 이는 계단식 전환이 아니라 비중 격차에 비례해 매끄럽게 확률이 올라가는 연속함수 형태여야 한다(기존 관측상 ~40% 부근에서 곡선 기울기가 커질 것으로 추정).
2. 홉 수 증가함수 예측: 내부 표상의 영어 편향 강도는 추론 사슬의 홉 수에 대해 증가함수다.
3. 과제 유형 예측: 동일 모델이라도 단순 개념매칭(1홉)에서는 언어중립 처리, 복합추론(N홉)에서는 피벗 처리가 관측된다.
4. 모델 규모 예측: 규모가 클수록 언어중립 공유공간의 일반화가 강해지므로(기존 관측: 알파벳 비공유 언어쌍에서 특히), 1홉 과제의 언어중립성은 규모에 비례해 강해진다. 단, N홉 과제의 피벗 경향이 규모에 따라 어떻게 변하는지는 본 가설이 예측하지 못하는 열린 지점이다.
5. 비영어 허브 모델 예측: 만약 특정 비영어 언어의 연쇄밀도가 충분히 높은 학습믹스를 구성하면(예: 해당 언어의 추론 텍스트 집중 수집), 볼륨이 낮아도 복합추론 피벗이 그 언어로 향할 수 있다 — 볼륨과 연쇄밀도가 분리 가능한 변수라면.

7-1. 실험설계 — 교란변수와 해결 원칙

시도된 설계 1 (기각): 특정 비영어 언어를 처음부터 90% 이상으로 학습시켜 허브 이동을 관찰. → 문제: 대부분의 개별 언어는 절대 텍스트량 자체가 상업모델 학습규모(수조 토큰)에 한참 못 미쳐 실행 불가. 단, 이 실행불가능성 자체가 하위명제 1(자원비대칭)이 예측하는 현상의 실증적 그림자이기도 하다 — "왜 안 되는지"가 곧 가설의 내용이다.

시도된 설계 2 (교란 발견): 총 토큰수를 고정하고 언어비중만 변수화(예: 언어A 90% + 영어 10%, 총량 고정). → 문제: 레이어 3(토큰화 효율)이 "토큰수" 자체를 오염된 통제변수로 만든다 — 같은 토큰수라도 토크나이저의 언어별 fertility 차이 때문에 실제 정보량(문자수·개념수 기준)이 언어마다 다르다. "토큰 기준 90%"가 "정보량 기준 90%"와 다를 수 있어, 순수 언어비중 효과와 토큰화 효율 효과가 뒤섞인다.

시도된 설계 3 (교란 발견): 저자원 언어(웨일스어, 아이슬란드어 등)의 기존 문헌을 대리 분석. → 문제: 저자원성과 형태론적 복잡도(격변화, 두음변화 등 레이어5급 합성 복잡성)가 흔히 함께 나타나 교란된다. 저자원=단순언어가 아니다 — 오히려 아이슬란드어처럼 저자원+고복잡도가 흔해, 두 페널티가 뒤섞여 순수 볼륨효과를 가릴 수 있다.

최종 원칙 (채택): 레이어 3~5(토큰화 효율·인코딩 비트수·합성 깊이)를 최대한 맞춘 비영어 언어쌍을 선정하고, 그 둘 사이에서만 레이어 1(볼륨)을 변수화한다. 영어를 아예 통제집단에서 제외함으로써 "영어의 특권"이라는 잠재적 착시를 원천 차단하고, 순수하게 자원량(볼륨) 효과만을 분리해서 측정한다.

보강 1 — 미니모델·from-scratch 실행: 기존 프론티어 LLM은 이미 영어가 깊이 새겨진 상태라 "영어를 뺀" 통제가 원리적으로 불가능하다. 따라서 실험은 프론티어 모델 개조가 아니라 연구용 소형모델을 특정 언어쌍의 통제된 코퍼스로 처음부터(from-scratch) 학습시키는 방식으로 수행한다. 이는 GPT-2 소형모델 비영어 실험, 1.1B~3B 규모 데이터믹스 실험 등 기존 문헌의 방법론적 선례와 일치한다.

보강 2 — 도메인 한정 통제: 언어쌍 비교 시 전체 코퍼스가 아니라 특정 도메인(법률·철학·기업문서 등 추론구조가 명확한 장르)으로 학습데이터를 한정하면, 장르 혼입 교란을 제거할 수 있다. 특히 법률(EU 법령 등 공식 다국어 병렬텍스트)이나 철학 고전(정본 번역 존재) 도메인은 "동일 내용, 다른 언어"라는 이상적 통제 조건을 실제로 확보 가능한 드문 영역이다.

보강 3 — 딥시크 2차검증 반영: ①연쇄밀도의 조작적 정의는 §5-0(percolation 공식화)으로 해결. ③토큰화효율 완벽매칭 불가능 문제는 "최대한 매칭" 대신 회귀모델에서 토큰화효율·합성깊이를 공변량(covariate)으로 통제하는 통계적 방식으로 대체 가능. ④홉수-피벗강도의 인과/상관 혼동(복잡한 과제=원래 영어프롬프트가 많다는 데이터편향, 출력이 길수록 통계적으로 영어비율 상승하는 길이편향)은 동일 과제를 모든 언어로 번역한 병렬프롬프트 사용 + 출력길이를 통제한 채 홉수만 조작하는 설계로 대응해야 함 — 이 부분은 아직 실험설계에 완전히 반영되지 않은 열린 과제로 남긴다. ②연쇄밀도가 실제로 인과적 매개인지(activation 개입)는 §6-5에서 논증한 대로 개입실험 대신 행동적 개입(강제 언어전환 프롬프트)으로 대체.

연쇄밀도의 실측 위임: 연쇄밀도의 조작적 정의(§5-0)에 따른 실제 측정(attribution graph 등으로 전이확률 추적)은 본 가설의 저자가 아니라, 이미 관련 인프라(circuit tracing, sparse autoencoder)를 보유한 연구주체(Anthropic 등)에 위임한다. 본 가설의 역할은 그 실측이 왜 특정 패턴을 보일 것으로 예측되는지에 대한 사전 인과가설 제공에 있다.

이 원칙은 §7의 예측들이 실제로 검증 가능한 형태로 설계될 수 있음을 보이는 것이며, §6의 고질적 반증가능성 부재 문제를 이 가설 트랙에서는 해소한다.

7-2. 외부검증 사례 — 딥시크 반론과 그 지위

Verify-Chain 절차상 본 가설(§6-4 시점 버전)을 딥시크에 투입한 결과, "이산 vs 연속 표상편향 구분 불가"라는 반론이 제기됨. 확인 결과 이는 문서에 이미 자인되어 있던 한계의 재진술이었음(신규 기여 아님) — Verify-Chain의 "근면성 병목"(검증자가 원문의 자기제한 조항을 충분히 읽지 않고 반론을 생성하는 패턴)의 실증 사례로 기록. 단, 반론 안에 함축된 "투영 아티팩트" 대안(§6-5의 3번)은 문서에 없던 요소로, 신규 기여로 인정하고 본문에 반영함.

───

8. 학술적 위치 (정직 명세)


구성요소
지위

압축이 학습의 본질이라는 일반원리 (MDL 계열, Hinton & van Camp 1993~)
재발견 — 30년 확립 이론

공유공간의 존재·창발 시점 관측
기존 문헌 (Wendler 2024, When Meanings Meet 2026 등)

영어 피벗의 LRM 관측
기존 문헌 (다수 수렴)

토큰화 효율(fertility) 언어간 격차 수치
기존 문헌 (Petrov et al. 2023 등, 확립된 실측)

UTF-8 인코딩 바이트수 격차, 한글 합성구조(자모→음절→단어)
기존 상식/표준 문서 — 사실관계는 재발견

압축 유인 → 공유공간 창발의 인과 연결
학계 명시적 미해결 지점에 대한 검증 전 신규 가설

연쇄밀도·홉 수 누적 프레임 (노드/다리 구분, 붕괴 범주)
검색상 미확인 — 잠재적 신규 지분

허브 중복성 (영어의 "두 번째 버전" 구조)
검색상 미확인 — 잠재적 신규 지분

혼합추론의 판별비용 논증 (전환은 선택이 아니라 압축가능성의 자연 결과)
검색상 미확인 — 잠재적 신규 지분

"영어"를 원인이 아닌 현재 순위로 재정식화 (최대연쇄밀도 언어 프레임) → 이후 "허브 없음, 상대적 밀도우위만 존재"로 재수정
검색상 미확인 — 순환논증 회피를 위한 이론 내적 재정식화

5겹 레이어 통합 모델 (볼륨·허브중복·토큰화·인코딩·합성깊이를 단일 자원비대칭 하위구조로 통합)
개별 사실은 기존 문헌, 통합 프레임 자체는 잠재적 신규 지분

실험설계 원칙 (영어 제외, 레이어3~5 매칭 언어쌍으로 순수 볼륨효과 분리, 미니모델·도메인한정 보강)
검색상 미확인 — 잠재적 신규 지분(방법론)

연쇄밀도 = percolation/branching process로서의 조작적 정의
percolation 이론 자체는 재발견(확립 수학), 이 현상에 적용한 것은 신규

강제생성 압력 (밀도희석+반드시생성규칙 → 억지연결 → Substitution의 실제 메커니즘)
검색상 미확인 — 잠재적 신규 지분

개입실험 기각 논증 (전역 파라미터에 국소 조작은 범주오류)
검색상 미확인 — 잠재적 신규 지분(방법론적 비판)



본 가설은 저자가 관련 문헌을 사전 열람하지 않고 순수 추론으로 도출한 뒤 사후 검색으로 기존 연구와의 중첩·공백을 확인하는 방식(§16 반론통과 원칙)으로 구성되었다. 검증 실험의 설계와 수행은 내부 접근 권한을 가진 연구주체(모델 개발사 또는 오픈웨이트 모델 기반 연구자)의 몫으로 남긴다.

───

9. 본 논문과의 연결 지도

• §4-2 (3층 역산): 창발-설계의 8년 간극이 "회사도 모른다"의 가장 강한 증거로 추가됨. 관측(circuit tracing)과 추론(효율성 논증)의 지위 구분 사례. 개입실험 기각 논증(§6-5)도 3층 역산의 직접 적용.
• §6 (발생 압력): 자원비대칭을 "압력"이 아닌 "제약(경계조건)"으로 재분류할 근거. 레이어 1~2(볼륨·허브중복)는 순수데이터 문제, 레이어3(토큰화)은 회사압력(조정가능), 레이어4~5(인코딩·합성깊이)는 진짜 물리적 제약. 추가로 다섯 번째 압력 — 예산압력(budget pressure): 유료/무료 등급별 허용 연산량(사고 깊이·컨텍스트 길이)이 종결조건(§5-0-1)에 영향을 주는 별도 축. 아키텍처·회사방침·순수데이터 어디에도 속하지 않는 독립 변수.
• §8 (확률분포와 위험도): 위험도 지표(뾰족함×거리)의 언어축 확장 적용. §5-0의 percolation 임계확률(πc)이 §8의 "저엔트로피=위험"을 수학적으로 정식화한 버전.
• §11 (택일 vs 조합): 혼합추론(§6-4) 사례가 조건부 조항 추가.
• §1 (Repair/Substitution): "붕괴(collapse)" 제3범주 후보. 강제생성 압력(§5-0-1)이 Substitution의 실제 발생 메커니즘 — 밀도희석 상태에서 "반드시 생성해야 한다"는 규칙이 억지연결을 만듦.
• §6-1 (4사 비교, 검증자 오류): 딥시크 1차 반론(4개, 진짜 신규 지적)과 2차 반론(전면 아부 후퇴, 검증 실패 사례) 둘 다 자기실증 데이터로 기록 가치.
• 자기실증 데이터 (신규 항목 후보): 본 가설 트랙 전체가 하루가 채 안 되는 시간 동안 순수 추론으로 축적됨(허브개념 자체 수정까지 포함한 자기수정 능력 포함). §16과 §외부검증 원칙의 실시간 사례.