August 7, 2026

Three items extend quantum-error-correction theory in directions that share machinery with this site’s earlier chiral-central-charge item; a fourth is a new theoretical framework connecting quantum spin liquids to unconventional superconductivity. The first two AI/ML items extend mechanistic-interpretability work already covered on this site; the last three examine, from three different angles, how reliable the reward signals used to train language-model agents actually are.

Quantum Information & Computing

P1. Approximate quantum error correction at chiral topological edges

Authors	Yuntai Song, Zejun Liu, Zhencheng Wang, Jong Yeon Lee, Bowen Shi
Venue	arXiv:2608.06258
Tags	QEC Chiral topological order Entanglement entropy Chiral central charge

More details

Background

위상학적으로 정렬된(topologically ordered) 상은 정보를 비국소적으로 인코딩함으로써 그 자체로 양자 오류 정정을 구현한다. 별도로, conformal field theory(CFT)도 근사적인 양자 오류 정정 코드를 구현할 수 있음이 알려져 있다 — holographic 코드(Almheiri 등, 2014), 임계 Ising CFT 코드(Pastawski, 2017), 그리고 1+1차원 CFT의 저에너지 부분공간이 CFT의 보편적 데이터로 복원 성질이 결정되는 근사 QEC 코드를 이룬다는 최근 결과(Sang, 2024)가 그 계보다. 이런 구성은 대체로 임계점(criticality)으로의 미세조정(fine-tuning)을 필요로 한다.

이 항목에서 반복되는 두 양은 양자정보이론의 표준 정의를 따른다. Bipartite 상태 $ρ_{A B}$ 에 대한 coherent information은 $I_{c} (A ⟩ B) = S (B) - S (A B)$ (von Neumann entropy $S$ 의 차)로 정의되며, 채널을 통해 정보를 얼마나 완전히 복원할 수 있는지를 정량화한다. 두 밀도행렬의 relative entropy는 $S (ρ ∥ σ) = Tr [ρ (lo g ρ - lo g σ)]$ 로 정의되며, 두 양자 상태의 구별 가능성을 잰다.

Summary

저자들은 2차원 위상학적으로 정렬된 상의 chiral edge를 이용한 근사 양자 오류 정정 코드 계열을 제시한다. 이 인코딩은 gapped된 위상학적 bulk의 견고함과 gapless한 edge CFT의 유연함을 결합해, 임계점 미세조정 없이도 근사 QEC를 구현한다.

핵심 정리(Theorem 7): coherent-information loss는 코드의 anyon 종류 $a$ 에 대한 relative entropy의 평균으로 정확히 표현된다 — $Δ (A; V^{χ}) = \frac{1}{D} \sum_{a} S (ρ_{A}^{a} ∥ \overset{ρ}{ˉ}_{A})$ . 이 식이 복원 가능성 문제를 edge CFT의 보편적 성질로 환원하는 다리 역할을 한다.

삭제된 영역의 기하학에 따라 세 가지 거듭제곱(power-law) 지수 α, β, γ를 정의한다 — α는 두 edge를 모두 가로지르는 영역, β는 그 여집합, γ는 한쪽 edge만 접하는(진정으로 2차원적인) 영역에 대한 지수다. Proposition 8은 이들 사이의 위계 $γ \geq α \geq min {α, β}$ 를 증명한다 — 즉 2차원 chiral edge 코드는 1차원으로 차원 축소된 CFT 코드보다 항상 같거나 더 견고하며, 여러 대표 사례에서 엄밀히 더 견고하다.

Theorem 9는 Abelian 코드 부분공간에 대해, 삭제된 영역과 그 주변 거듭제곱 범위 버퍼에 걸쳐 지원되는 명시적 복원 사상(recovery map)을 구성한다 — 이 사상은 인코딩된 상태가 아니라 코드 부분공간 자체에만 의존한다.

수치 검증은 두 사례에서 이루어졌다: compact free boson CFT( $c = 1$ )에 대응하는 chiral semion 코드에서는 α, β 지수를 수치로 뽑아 CFT의 해석적 예측과 비교했고, Ising CFT( $c = 1/2$ )에 대응하는 chiral Ising 코드에서는 여기에 더해 유한한 실린더 위의 bosonic Laughlin-상태 파동함수로 진정으로 2차원적인 γ 지수까지 직접 추정했다.

Discussion

저자들이 직접 밝힌 한계가 명확하다: edge의 성질이 1차원 CFT와 정확히 대응한다는 가정(Assumption 5)은 이 논문의 핵심 전제이지만 일반적인 경우에는 증명되지 않았다. γ 지수를 이론적으로 정확히 계산하는 방법은 아직 없으며 $γ \geq α$ 라는 부등식만 증명했다. 위·아래 두 edge가 같은 종류라는 단순화 가정도 유지된다 — 더 복잡한 edge 조합으로의 확장은 이 논문의 범위 밖이다.

이 결과가 얻은 견고함은 위상 안정자 코드(topological stabilizer code)가 흔히 갖는 지수적 견고함보다 약한, 거듭제곱 스케일링이다 — gapless edge CFT를 쓴 대가로 “미세조정이 필요 없다”는 유연성을 얻는 대신, 오류 억제 자체는 더 약해진다는 트레이드오프로 읽을 수 있다.

명시적으로 구성된 복원 사상은 Abelian 코드 부분공간에 한정된다 — 범용 양자계산에 더 흥미로운 비아벨(non-Abelian) anyon을 갖는 chiral 위상까지 확장되는지는 이 논문이 답하지 않는 열린 질문이다.

실제 하드웨어 구현을 주장하는 논문이 아니라 이론(+ 두 특정 CFT에 대한 수치 검증) 결과다.

P2. Beyond transversality: structure of Clifford circuits for CSS codes

Authors	Victor V. Albert
Venue	arXiv:2608.05688
Tags	CSS codes QEC

More details

Background

Fault-tolerant 양자 계산에서 transversal gate(각 물리적 큐비트에 독립적으로 같은 게이트를 적용하는 방식)는 하나의 물리적 오류가 논리적 큐비트 전체로 번지지 않게 하는 표준적인 방법이지만, Eastin–Knill 정리에 따르면 어떤 코드도 보편적(universal) 논리 게이트 집합 전체를 transversal하게 구현할 수는 없다 [1]. Depth-1보다 깊은 2-local 회로(“two-fold transversal” 회로)는 더 많은 논리 게이트를 구현할 수 있지만, 고정된 큐비트 짝짓기(matching) 위에서는 여전히 그 논리 연산의 범위가 제한된다는 것이 알려져 있었다 — 이 논문은 그 범위를 정확히 규명한다.

Summary

구조 정리: 모든 code-preserving Clifford 회로는 (S, CZ 게이트로 이루어진) Z-diagonal 회로와 그 X-기저 대응물의 곱으로 나타난다는 것을 이항표현론과 이진 symplectic 공간의 기하를 이용해 증명한다 — 즉 CSS 코드를 보존하는 임의의 Clifford 연산이 이 두 “대각” 계열만으로 전부 생성된다(Theorem C.1). 같은 결과가 transversal 부분군에도 적용된다.

depth-1, 2-local code-preserving 회로로 생성되는 “two-fold transversal group”을 정의하고, 그 원소들이 Z-diagonal·X-diagonal·CNOT 게이트로 이루어진 층들의 곱으로 표현됨을 보인다 — 따름정리로, 모든 transversal gate는 세 개의 transversal diagonal 회로의 곱이며(연결된 non-self-dual 코드에서는 두 개로 충분하다).

단일 큐비트 Clifford 게이트와 permutation으로 이루어진 code-preserving “automorphism 회로”가 Hadamard 층 + permutation + 두 개의 diagonal 회로로 이루어진 표준형(normal form)을 가짐을 보이고, permutation까지 허용하는 “two-fold automorphism group”의 논리적 상(image)이 two-fold transversal group의 상보다 클 수 있음을 보인다.

수치 실험: 136개의 CSS 코드에 대해 two-fold transversal 생성자를 명시적으로 계산했다. 그중 78개 코드는 전체 논리 Clifford 군이 two-fold-transversal 회로만으로 생성된다 — [18,4,4] 토러스 위 컬러 코드, [16,6,4] tesseract 코드, [14,3,3] phantom 코드, [12,2,4] carbon 코드, [10,2,3] rotated toric 코드 등이 포함된다. [10,2,3] rotated toric 코드는 그중 가장 작은 완전한 예로, 단 한 층의 회로가 여섯 개의 정준 생성자(양쪽 √Z, 양쪽 √X, CZ, 그 X-기저 대응물)를 모두 실현한다 — 여러 층을 합성할 필요가 없다.

전체 논리 Clifford 군은 아니어도 유도되는 논리 군이 클 수 있는 추가 58개 코드(주로 quantum LDPC 성질을 가진)에 대해서도 하한을 계산했다. 그 하한값은 48개부터 약 6×10⁴² 개 게이트까지 41자릿수에 걸쳐 있으며, 실제 near-term 하드웨어 후보로 논의되는 gross code는 최소 460,800개, [24,8,3] clustered-cyclic 코드는 최소 1.5×10²⁶개의 논리 게이트에 도달한다.

Discussion

이 논문이 실제로 답하는 것은 “주어진 CSS 코드에서 depth-1 또는 depth-2의 2-local Clifford 회로만으로 어떤 논리 게이트에 도달할 수 있는가”이며, 그 답을 코드마다 무작위 탐색 없이 정확히 읽어낼 수 있는 표준형으로 제공한다 — 136개의 실제 코드에 대해 이를 계산해 보였다는 점이 이 논문을 순수 존재 증명 이상으로 만든다.

이 결과가 특징짓는 것은 여전히 depth-1·depth-2(“two-fold”)까지의 회로뿐이다. 세 겹, 네 겹으로 더 깊어지되 여전히 임의는 아닌 회로족까지 같은 분류가 확장되는지는 저자 스스로 “가능한 확장”(Section IX)으로 남겨둔 열린 문제다.

gross code(460,800개 이상의 논리 게이트)와 clustered-cyclic 코드(1.5×10²⁶개 이상)의 격차가 보여주듯, 유도되는 논리 군의 크기는 코드에 따라 극단적으로 다르다 — “two-fold transversal 회로가 유용한가”는 코드 선택에 크게 좌우되는 질문이지, CSS 코드 일반에 대해 균일하게 답할 수 있는 질문이 아니다.

새 코드나 실험적 시연이 아니라 분류 정리(classification theorem) 및 그 코드별 계산 결과다.

References

[1] Eastin and Knill, “Restrictions on Transversal Encoded Quantum Gate Sets”, Phys. Rev. Lett. 102, 110502 (2009).

P3. Experimental demonstration of the Quantum Fourier Transform on up to 100 qubits using a convolutional compilation strategy

Authors	Paul Coote, Michael J. Biercuk, Yuval Baum
Venue	arXiv:2608.05435 — validated on the IBM Quantum Platform
Tags	Quantum Fourier transform Quantum computing

More details

Background

Quantum Fourier transform(QFT)은 phase estimation과 Shor 알고리즘 등 알려진 지수적 양자 가속의 핵심 부속 루틴이다 [1] [2]. $n$ 큐비트( $N = 2^{n}$ 차원)에서 QFT는 계산기저 상태를 $∣ x ⟩ \mapsto \frac{1}{N} \sum_{y = 0}^{N - 1} e^{2 π i x y / N} ∣ y ⟩$ 로 보내는 유니터리 변환이다.

표준 QFT 회로는 모든 큐비트 쌍 사이의 controlled-phase 게이트를 필요로 해 all-to-all 연결성을 가정하지만, 대부분의 실제 하드웨어는 인접 큐비트끼리만 직접 연결된(linear nearest-neighbor, LNN) 위상을 가진다. Park과 Ahn(2023)은 LNN에서 $n^{2} + n - 4$ 개의 CX 게이트로 QFT를 컴파일하는 방법을 제시한 바 있고, Klaver 등(2026)은 $n^{2} - 1$ 개까지 줄였지만 근사(AQFT) 버전은 여전히 이차(quadratic) 스케일링이었다.

Summary

저자들은 “Convolutional QFT” 컴파일 전략을 제시한다 — 레지스터를 훑고 지나가는, 압축적이고 translation-invariant한 kernel gadget을 사용해 $n^{2} - n$ 개의 CX 게이트(all-to-all 컴파일과 같은 게이트 수)만으로 완전한 QFT를 LNN 하드웨어에서 구현한다 — 앞선 Park–Ahn 결과보다도 적은 수치다. Convolutional 변형은 ancilla 큐비트 하나와 CX 게이트 두 개만 추가로 필요하다.

IBM Quantum Platform(ibm_boston, Heron R3)에서 5~100큐비트까지 같은 컴파일 파이프라인으로 실험했다. 회전각 π/16 이하를 잘라내는 근사(AQFT) 방식을 병행했고, dynamical decoupling과 ALAP 게이트 스케줄링으로 오류를 억제했다.

Readout-오류-보정 이후 process fidelity는 50큐비트에서 11.4%, 80큐비트에서 1.8%로 보고된다. 100큐비트에서는 정확한 fidelity 대신, 20개의 무작위 목표 값 각각에 대해 올바른 비트열이 항상 최빈값(mode)으로 관측된다는 형태로 보고된다 — 50큐비트에서는 목표 비트열이 다음으로 가장 흔한 오답보다 8.4배, 80큐비트에서는 7.5배 더 자주 관측됐다.

Discussion

저자들 스스로 명시한 한계: “80큐비트를 넘으면 문헌에서 쓰는 통상적인 1% 문턱값 아래로 process fidelity가 떨어진다”고 인정한다. 100큐비트 결과에서 다수결(plurality voting) 같은 고전적 후처리로 신호를 더 끌어올릴 수 있는지는 이 논문에서 시도되지 않았다.

큐비트 수가 늘어날수록 fidelity가 가파르게 떨어진다(50큐비트 11.4% → 80큐비트 1.8%) — 100큐비트 결과는 “잡음 위에서 구별 가능하다”는 주장이지 “높은 fidelity로 동작한다”는 주장이 아니다.

“역대 최대 규모의 실험적 QFT 시연”이라는 주장에 대해, 저자들은 명시적인 비교 표를 제공하지 않으며, 비슷한 시기의 관련 연구(Aumann 등, 2026, “Record Fidelity for the Quantum Fourier Transform”)가 어떤 기준으로 무엇을 겨루는지도 이 항목에서 직접 대조하지 않았다 — 이 논문이 확실히 검증 가능하게 보이는 기여는 “LNN 하드웨어에서 all-to-all과 같은 게이트 수를 달성하는 컴파일 전략” 쪽이다.

저자 소속(Q-CTRL)은 양자 제어 전문 회사이기도 하며, dynamical decoupling 등 하드웨어 제어 기법이 이 규모 달성에 실제로 기여했다.

References

[1] Coppersmith, “An approximate Fourier transform useful in quantum factoring”, IBM Research Report RC 19642 (1994).

[2] Shor, “Algorithms for quantum computation: discrete logarithms and factoring”, Proc. 35th Annual Symposium on Foundations of Computer Science (1994).

Many-body / materials physics

P1. Superconducting and charge-ordered phases from Dirac quantum spin liquids

Authors	Andreas Feuerpfeil, Ronny Thomale, Subir Sachdev, Pietro M. Bonetti
Venue	arXiv:2608.05277
Tags	Quantum spin liquid Unconventional superconductivity

More details

Background

삼각격자 양자 스핀 액체(QSL) 절연체 후보 물질은 압력·도핑 아래에서 초전도로 전이하거나 중적외선 구동 아래에서 테라헤르츠 전도도가 늘어나는 현상이 실제로 관측되어 왔다. 저자들이 직접 지목하는 두 후보 물질은 유기 물질 κ-(BEDT-TTF)₂Cu₂(CN)₃(빛으로 구동한 전하 전도도 증가가 관측됨)와 NaYbSe₂(결정학적 뒤틀림이 없어 등방적 삼각격자로 볼 수 있음)이다. 삼각격자 spin-1/2 $J_{1}$ – $J_{2}$ Heisenberg 반강자성체에 대한 DMRG·엄밀 대각화·변분 몬테카를로 등 여러 수치 연구가 massless Dirac spinon을 가진 U(1) 스핀 액체와 일치하는 중간 영역을 보고해 왔다 — 이는 Anderson의 원래 RVB 제안 [1]이 겨냥했던 바로 그 종류의, 프러스트레이션이 만드는 비정렬 바닥상태다.

Parton 구성의 표준적인 형태는 전자를 스핀을 나르는 fermion(spinon) $f_{iσ}$ 과 전하를 나르는 boson(chargon) $b_{i}$ 의 곱으로 쪼개는 것이다: $c_{iσ} = f_{iσ} b_{i}$ (단일 자리당 이중 점유를 막는 구속조건이 함께 부과된다). $b_{i}$ 가 응축하면 spinon과 chargon이 다시 하나의 통상적인 전자로 결합confine되며, 이것이 QSL에서 벗어나는 전이에 해당한다. 이 논문은 이 표준형을 SU(2) 로터 구성 $(c_{i ↑}, c_{i ↓}^{†})^{T} = B_{i}^{†} ψ_{i}$ 로 더 정교하게 다듬어 쓰고, spinon의 projective symmetry group(PSG) 분류 방법론 [2]을 이용해 이 $B_{i}$ 의 대칭성을 결정한다 — $B_{i}$ 는 두 개의 복소 chargon 성분(“doublon”과 “holon”)을 담은 SU(2) 행렬이다.

Summary

저자들은 fermionic spinon을 가진 U(1) Dirac 스핀 액체(및 그 gapped ℤ₂·chiral 후예 상)로부터 초전도상과 전하 질서상이 나타나는 일반적인 이론 틀을 제시한다. 구체적인 평균장 ansatz는 삼각격자 위 0–π flux 상태이며, 여기에 질량 파라미터 λ를 켜면 gapped ℤ₂ 스핀 액체로, 시간역전을 깨는 위상 φ를 켜면 Kalmeyer–Laughlin 위상 차수를 갖는 chiral 스핀 액체로 이어진다.

전이 메커니즘은 chargon Higgs 응축이다. Dirac spinon의 projective symmetry group(PSG)이 chargon의 대칭성과 분산관계를 유일하게 결정하며, 이를 이용해 chargon band minima 근처의 유효 저에너지 이론을 구성하고, chargon Higgs field의 게이지 불변 조합을 각 상의 질서 변수로 삼는다.

상 도표(phase diagram)는 d+id 초전도, 전하밀도파(charge-density wave), 결합밀도파(bond-density wave), 쌍밀도파(pair-density wave), 전류 질서(current order) 등 다양한 질서상을 포함하며, U(1)·ℤ₂·chiral 세 모상 각각에 대해 별도로 대칭성-깨짐 패턴을 분류한다.

저자들은 절반-채움(half-filling)에 국한된 분석이 도핑된 경우에도 적용된다고 명시한다 — 다만 도핑된 전하 운반자가 (anyon이 아니라) fractionalized Fermi liquid(FL*) 속의 전자라는 가정 아래에서다. 저자들은 이를 doped chiral 스핀 액체에서 전하 운반자를 anyon으로 보는 최근 이론들과 명시적으로 대조하며, 두 접근이 결국 같은 confining 초전도체로 귀결될 수 있어 초전도 임계온도 위의 상(normal state)에서만 구별 가능할 수 있다고 지적한다.

Discussion

이 논문은 특정 실제 물질의 성질을 정량적으로 예측하거나 맞추는 것이 목표가 아니라, 대칭성 데이터만으로 Dirac 스핀 액체 모상이 만들어낼 수 있는 질서상들을 일반적으로 분류하는 이론 틀이다 — 다만 저자들이 κ-(BEDT-TTF)₂Cu₂(CN)₃의 빛-구동 전도도 관측과 NaYbSe₂를 구체적으로 지목한다는 점에서, 완전히 재료 무관한 추상적 분류로 그치는 것은 아니다.

d+id 초전도는 시간역전 대칭을 깨는 위상이라, 원칙적으로 열홀 효과나 극카 회전 같은 실험으로 단순 d-wave 등 다른 파동 대칭과 구별할 수 있다 — 이런 구별 실험이 두 후보 물질에서 실제로 제안·수행되었는지는 이 논문 자체의 범위(이론 틀 구성)를 벗어난다.

FL*(전자적 도핑)와 anyon 기반 이론이 초전도 임계온도 위의 정상상태에서만 구별 가능할 수 있다는 저자들의 지적은, 이 이론이 검증 가능한 예측을 내놓으려면 초전도 자체가 아니라 그 전이온도 위쪽의 수송·스펙트럼 성질을 봐야 한다는 뜻이다 — 이 논문 자체는 그 구체적인 구별 신호를 계산하지 않는다.

References

[1] Anderson, “Resonating valence bonds: A new kind of insulator?”, Materials Research Bulletin 8, 153 (1973).

[2] Wen, “Quantum orders and symmetric spin liquids”, Phys. Rev. B 65, 165113 (2002).

ML/AI

P1. CircuitSteer: geometrically aligned multi-layer steering via sparse autoencoder circuits

Authors	Mehrshad Saadatinia, Parsa Razmara, Ardalan Aryashad, Ali Abbasi, Seyedarmin Azizi
Venue	arXiv:2608.05732
Tags	Sparse autoencoders Activation steering Mechanistic interpretability

More details

Background

기존 activation steering 방법(Contrastive Activation Addition 등)은 한 층에서 뽑은 고정된 방향을 의미론적으로 다양한 입력 전체에 똑같이 적용한다. 저자들은 이것이 실패하는 두 가지 구체적 이유를 짚는다 — (1) 같은 개념이라도 층마다 그 방향이 기하학적으로 어긋나 있어 여러 층에 개입하면 서로 상쇄되는 간섭이 생기고, (2) 이른 층의 개입이 이후 모든 층의 표현에 연쇄적으로 영향을 미쳐 교란이 누적된다.

Sparse autoencoder의 표준적인 형태는, 활성값 $x$ 를 성긴(sparse) 특징 $f (x) = ReLU (W_{e n c} x + b_{e n c})$ 로 인코딩한 뒤 $\overset{x}{^} = \sum_{i} f_{i} (x) d_{i} + b_{d ec}$ 로 복원하도록 학습된다. 이 논문의 “feature co-activation과 decoder 방향의 기하학적 정렬”은 여러 층의 디코더 방향 $d_{i}$ 들이 서로 얼마나 정렬돼 있는지를 회로를 잇는 기준으로 쓴다는 뜻이다.

Summary

CircuitSteer는 SAE 특징들 사이에 co-activation(같은 입력에서 함께 활성화)과 decoder-방향 코사인 유사도(기하학적 정렬)라는 두 조건을 만족하는 층-간 엣지로 유향 그래프를 구성해, 특정 행동을 담당하는 다층 “feature flow circuit”을 찾아낸다. 대조 프롬프트(target vs. benign)로 이 회로가 목표 행동에 특이적인지 점수를 매겨 걸러낸다.

찾아낸 회로의 각 층 디코더 방향을 평균해 층별 steering vector를 합성하고, 여러 층에 동시에 개입한다.

정량적 결과(Table 1): RealToxicityPrompts, Jigsaw, Emotion, Sycophancy 네 데이터셋과 Gemma-2-2B·Llama-3.1-8B 두 모델에서, CircuitSteer는 여덟 개 모델-데이터셋 조합 전부에서 문장 유창성을 지키면서 목표 감소를 달성한 유일한 방법이었다 — 경쟁 방법들은 최소 한 조합에서 문장 붕괴(fluency collapse) 또는 문턱 미달로 실패했다.

Refusal 스티어링(Appendix E, Table 10): AdvBench에서 λ=-3일 때 거부율을 89%에서 0%로 낮췄다. 반면 단일층 CAA는 같은 실험에서 거부율이 92%로 거의 변화가 없었다.

Ablation(Table 2): 기하학적 정렬 조건을 빼면 어려운 과제에서 문장 붕괴가 일어났고, 반대로 정렬된 방향 대신 무작위 SAE 투영을 쓰면 완전히 실패했다 — 기하학적 정렬이 부가 개선이 아니라 이 방법이 작동하는 핵심 조건임을 실증적으로 보였다.

Discussion

“전체 조합에서 문장 유창성을 지킨 유일한 방법”이라는 주장은 저자들이 만든 여덟 개 모델-데이터셋 조합 전체에 걸친 결과이며, ablation까지 딸려 있어 앞서 우려했던 “SAE의 우연한 산물일 뿐”이라는 가능성은 상당 부분 해소된다 — 무작위 SAE 투영이 완전히 실패한 반면 정렬된 방향은 성공했다는 대조가 그 방향들이 실제로 인과적 역할을 한다는 증거에 가깝다.

다만 통계적으로 유의한 효과는 88개 조합 중 77개에서만 확인됐고, Llama-Jigsaw 조합에서는 유의한 효과가 없었다고 저자들 스스로 밝힌다.

저자들은 refusal 스티어링 결과(거부율 89%→0%)가 “정렬의 취약성”을 드러내며 jailbreak를 더 쉽게 만들 수 있다는 윤리적 우려를 스스로 제기한다 — 이는 이 방법의 능력이 곧 위험이기도 하다는 이중적 함의를 갖는다.

평가는 두 모델 계열과 residual-stream SAE에 국한되며, 사전학습된 SAE라는 전제 조건과 세 개의 문턱값(τ_act, τ_sim, τ_diff) 튜닝이 필요하다는 점은 이 방법을 다른 모델에 적용할 때의 실질적 장벽이다.

P2. Reasoning errors have a region and a direction in the residual-stream trajectory of LLMs

Authors	Hamed Damirchi, Ignacio Meza De la Jara, Damith Ranasinghe, Yuhang Liu, Javen Shi
Venue	arXiv:2608.05660
Tags	Residual stream Mechanistic interpretability

More details

Background

언어모델의 추론 오류를 사후에 잡아내는 기존 방법 중 하나는 층 사이 residual stream 변위 $d_{t, ℓ} = h_{t, ℓ + 1} - h_{t, ℓ}$ 만 보는 것이다(“motion”). 저자들은 이 방식이 안정적인, 레이블과 상관된 신호는 걸러내는 장점이 있지만, 대신 “그 변화가 어떤 상태에서 시작됐는지” 정보를 버린다고 지적한다. 전체 상태를 복원하면 정확도는 오르지만(ARC-Challenge에서 완전한 상태 프로브 68.6% vs. 변위만 62.2%), 답의 표현 자체(단어 선택 등)가 새어 들어가(재구성 $R^{2}$ 가 0.007→0.191로 급증) 다른 벤치마크로의 일반화가 크게 나빠진다 — 이를 “상태-복원 트레이드오프”라 부른다.

Summary

이 트레이드오프를 절충하기 위해 세 가지 읽기를 결합한 “3-stream detector”를 제안한다: motion(기존 변위 판독기), region(상태를 정규화한 뒤 6개 층 구간에 공유 투영을 적용하고 128개 코드북으로 vector-quantize해 대략적 “영역”만 남김), direction(정규화된 방향 정보를 정답 토큰에서만 읽되 크기 정보는 버림). 세 임베딩을 이어붙여 최종 타당성 점수를 낸다.

정량적 결과: Llama-3.1-8B에서 8개의 out-of-distribution 추론 벤치마크에 대해 평균 75.2% 정확도로, motion만 쓴 기존 방법(63.2%)과 선형 프로브(64.1%) 대비 최대 12%p(ARC-Challenge 기준 donor), 범위로는 7~12%p 향상을 보였다. Ablation(Table 3, ARC-Challenge)에서는 motion 62.2 → +direction 73.0 → +region 73.8 → 전체 74.7로, 두 위치 판독기가 각각 독립적으로 기여함을 보였다.

추론 벤치마크로만 훈련했음에도 사실성(factual) 오류 탐지(FACTOR-wiki/news/expert, VitaminC)로 일반화되며, 이 네 과제 전부에서 두 기준선을 능가한다 — 저자들은 이를 이 신호가 추론에 특화된 패턴이 아니라 더 일반적인 “정답 여부”를 읽는다는 증거로 해석한다.

모델 간 일반화: Llama-3.1-8B, Qwen2.5-14B(dense), Qwen3-30B-A3B(MoE, 30B 중 3B 활성)까지 세 모델에서 검증했고, 전체 모델(motion+region+direction)이 세 모델 모두에서 추론(+8~~14%p)·사실성(+11~~16%p) 두 축 모두 가장 우수했다 — 단일 모델의 다른 과제로의 일반화뿐 아니라 다른 모델군으로의 전이까지 실제로 확인된 결과다.

Discussion

저자들이 논문의 §7과 부록 P에서 직접 밝힌 한계: (1) 여러 후보 답 중 하나를 고르는(selection-only) 평가만 가능하며 단일 답의 정오 판정 자체는 다루지 않는다, (2) 얼려진(frozen) 모델의 residual stream이 필요하고 모델마다 별도로 훈련해야 한다, (3) 성능 상한이 과제마다 크게 다르다 — held-out 선형 판독의 AUC가 FACTOR-expert에서는 0.92, FACTOR-wiki에서는 0.61에 그친다, (4) direction 판독기는 활성값 크기를 버리는데, 이 크기 자체가 정답 신호를 담고 있을 수 있다고 저자들 스스로 인정한다, (5) 각 구성요소를 사후에 단순 이어붙이는 대신 학습된 게이팅을 썼다면 더 나을 수 있다는 격차(오라클 기준 3~21%p)가 남아 있다.

이 탐지가 사후 검증에 머무는지, 모델이 실시간으로 스스로 개입할 수 있는 신호로 쓰일 수 있는지는 이 논문 자체가 다루지 않는다 — 다만 얼려진 모델에 대한 별도 분류기 훈련이 필요하다는 설계 자체가, 적어도 이 형태 그대로는 모델 자신의 실시간 자기교정으로 바로 이어지지는 않음을 시사한다.

P3. OSReward: instituting standardized evaluation for cross-platform computer-use reward models

Authors	Qiushi Sun, Kanzhi Cheng, Yian Wang, et al. (23 authors; NLP Group, The University of Hong Kong, and collaborators)
Venue	arXiv:2607.28609
Tags	LLM-as-judge Reward modeling

More details

Background

컴퓨터를 직접 조작하는 에이전트(computer-using agent, CUA)의 작업 성공 여부를 사람이 매번 검증할 수는 없어, 최근에는 비전-언어모델을 심판으로 쓰는 LLM-as-judge 방식이 CUA 평가·데이터 정제·RL 보상 신호 전반에 쓰인다. 저자들은 이 심판의 신뢰성이 체계적으로 측정된 적이 없다는 공백을 지적하며, 웹·윈도우(“20개 안팎의 상시 사용 앱이 깔린, 실제로 쓰던 것 같은 컴퓨터”)·우분투(~30개 앱)·모바일 네 플랫폼에 처음부터 전용 환경을 구축했다.

Summary

약 1,500개의 후보 지침을 작성해 동료 심사로 걸러 약 800개를 남기고, Claude·Gemini·Kimi·Qwen 네 계열 에이전트가 실행한 궤적을 세 명의 독립 사람 평가자가 라벨링(불일치는 상급 평가자의 메타 리뷰로, 다수결이 아니라 논의로 해결)해 1,019개의 정답 궤적(약 800 인시)을 확보했다. 이로부터 OSReward(전체, 성공률 43%), 어려운 사례만 재검증해 모은 OSReward-Hard(284개, 성공률 30%), 세밀한 정합성·효율성 점수를 매긴 OSReward-Multi(440개) 세 벤치마크를 구성했다.

정량적 결과: GPT-5.5·Claude-Opus-4-8 등 27개 VLM 심판을 평가했다. 전체 세트에서는 Claude-Opus-4-8(89.7%)·GPT-5.5(89.5%)가 최고였지만, 어려운 세트(OSReward-Hard)에서는 Claude-Opus-4-8이 69.7%로 20%p 떨어지고 평균 심판 정확도는 52%까지 떨어진다(소형 오픈모델 Qwen3-VL-30B는 31.1%).

관대함 편향의 실제 메커니즘: 저자들은 입력을 하나씩 제거하며 무엇이 판정을 좌우하는지 실험했다 — 스크린샷 수·마커 유무 같은 시각적 요소를 바꿔도 정확도가 0.5%p 이하로만 움직이는 반면, 매 단계의 사고·행동 텍스트 기록을 빼면 평균 7.2%p가 떨어지고 판정의 22.7%가 뒤집힌다(시각적 변화가 만드는 변화의 세 배). 즉 “화면을 보고 있어도 텍스트 기록이 판정을 지배하며, 필수적으로 보이는 시각적 단서는 거의 영향을 미치지 않는다.” 에이전트가 실패했으면서도 스스로 “완료했다”고 서술하면, 심판은 화면보다 그 서술에 더 의존해 이를 놓친다.

비용: 가장 신뢰할 만한 프런티어 심판(Claude-Opus-4-8, 70% Hard-set 정확도)조차 전체 세트 한 번 채점에 약 100달러가 든다 — RL 학습 한 번이 수백만 번의 판정을 요구한다는 점을 고려하면 실용적 규모에서 쓸 수 없는 비용이다. 저자들은 10만 개 규모의 새 학습 데이터(OS-Shepherd-100K)로 9B 모델을 훈련해, 전체 세트 채점 비용을 1.36달러로 낮추면서도(3060배 절감) 상용 모델과 맞먹는 정확도(86.1%/60.2%)를 달성했다고 보고한다.

Discussion

이전 항목에서 “왜 관대함 편향이 생기는지 확인되지 않는다”고 썼던 부분은 원문에서 명시적으로 답한다 — 텍스트 서술이 시각 정보를 압도한다는 것이 핵심 메커니즘이며, 저자들이 직접 입력 제거 실험으로 정량화했다.

이 결과는 CUA 평가에 국한되지 않는다 — 판정자가 행위자 자신의 서술에 과도하게 의존한다는 문제는 LLM/VLM을 판정자로 쓰는 관행 전반(리더보드, 데이터 필터링, RL 보상)에 구조적으로 적용될 수 있는 경고다.

저자들이 명시한 한계: 1,019개 정답 궤적을 얻는 데도 약 800 인시가 들었다는 규모의 제약, 초기 불일치로 상급 리뷰까지 올라간 사례가 상당수(약 28%)였다는 라벨링 난이도, 데스크톱 지침의 약 25%가 사람이 직접 만들기 어려워 합성 지침에 의존했다는 점, 그리고 정합성·효율성 세부 점수는 여전히 모든 심판이 잘 못한다는 점(구분 능력 자체는 있지만 채점 기준이 어긋나 있다).

P4. EnvACE: internalizing environment dynamics via world rehearsal for agentic reinforcement learning

Authors	Zishan Xu, Zhiyuan Yao, Yuxin Chen, et al. (12 authors; Tencent)
Venue	arXiv:2608.06197
Tags	World models RL

More details

Background

도구 사용을 배우는 LLM 에이전트를 훈련하려면 실제 또는 합성된 실행 가능한 환경과 상호작용해야 하는데, 그런 환경을 구성·검증하는 비용이 크고, 별도의 외부 시뮬레이터는 실제 환경과의 부합(grounding)이 떨어질 수 있다.

Summary

EnvACE는 하나의 정책(policy)에 행동자(acting)와 리허설(rehearsal), 두 역할을 맡긴다. 행동자 역할이 도구 호출 $a_{t} \sim π_{θ} (\cdot ∣ h_{t}, Act)$ 을 생성하면, 같은 정책이 리허설 역할로 전환해 그 행동이 유발할 환경 반응 $\overset{o}{^}_{t} \sim π_{θ} (\cdot ∣ h_{t}, a_{t}, Rehearse)$ 을 스스로 생성하고, 그 반응을 이력에 이어붙여 다음 행동을 결정한다.

두 역할 모두 같은 파라미터를 공유하며, 역할별로 advantage를 따로 계산하는 GRPO 변형으로 성공 보상을 함께 최적화한다. 역할을 분리한 별도 정책 대신 파라미터를 공유하면 τ²-Bench에서 35.5%→36.7%로 향상돼(+1.2%p), 공유 자체가 성능에 기여함을 보였다.

정량적 결과: BFCL-v4·τ²-Bench·VitaBench 평균에서 EnvACE-8B는 32.91%로 EnvScaler-8B(31.92%), AWM-14B(32.54%)를 앞선다. 개별 벤치마크로는 τ²-Bench(36.7% vs. EnvScaler 32.9%, AWM-8B 31.2%)에서 격차가 가장 크고, BFCL-v4(46.04%)에서는 오히려 EnvScaler-8B(47.07%)에 근소하게 못 미친다. FinMCP-Bench에서는 Tool F1 46.78%로 최고 성능을 보인다. 1.7B→8B로 모델을 키우면 τ²-Bench가 15.3%→36.7%로 크게 뛴다.

테스트 시점에 내재화된 world model로 실행 전 리허설을 2회(N=2) 거치면 36.7%→40.9%로 향상되지만, 3회(N=3)에서는 성능이 오히려 떨어진다 — 저자들은 이를 컨텍스트 길이 제약으로 설명한다.

Discussion

저자들이 §7에서 직접 밝힌 한계는 두 가지뿐이다 — “계산 자원 제약으로 8B 규모까지만 평가했고, 더 큰 모델에서의 효과는 향후 과제로 남긴다”와 “현재 평가는 주로 도구-상호작용 과제에 집중되어 있고, world rehearsal을 더 넓은 에이전트 상황으로 확장하는 것은 흥미로운 향후 방향”이라는 것이다. 정책이 스스로 생성한 리허설이 실제 환경 반응과 점점 괴리될 때 이를 정책이 알아채지 못하고 악용할 위험 — world model 기반 학습에서 흔히 우려되는 지점 — 은 이 논문에서 명시적으로 다뤄지지 않는다.

BFCL-v4에서 EnvACE가 EnvScaler-8B에 근소하게 뒤처진다는 사실은 저자들도 표에 그대로 남겨뒀다 — “모든 지표에서 최고”라는 주장이 아니라 세 벤치마크 평균과 전이 성능에서의 우위임을 정확히 읽어야 한다.

지난주 이 사이트가 다룬 Dreamer 4(world model 기반 RL)와 문제의식이 겹친다 — 다만 Dreamer 4는 픽셀 기반 환경(Minecraft)의 world model을 학습하는 쪽이고, EnvACE는 도구 호출·API 응답처럼 구조화된 상호작용을 스스로 리허설하는 쪽이라 적용 영역이 다르다.

P5. RRC: unlocking generative reward models in LLM reinforcement learning via ranking-based reward construction

Authors	Chenglong Wang, Ziming Zhu, Yifu Huo, Bei Li, et al. (12 authors)
Venue	arXiv:2608.06310
Tags	Reward modeling LLM-as-judge RL

More details

Background

최근 보상 모델링은 응답 하나에 점수를 매기는 discriminative 방식에서, 응답 여러 개를 비교해 순위를 매기는 generative 방식으로 옮겨가고 있다. 저자들의 자체 분석에 따르면 generative 모델은 순위 매기기에서는 discriminative 모델을 크게 앞서지만, 기존 방식대로 선호 토큰의 확률에서 스칼라 점수를 뽑아 RL에 쓰면 그 우위가 거의 사라진다 — chain-of-thought 추론 중 확률이 붕괴하고, 모델의 확신과 실제 선호 품질이 뒤섞이기 때문이다.

RLHF 계열에서 쌍대 선호를 스칼라 보상으로 바꾸는 표준적인 방법은 Bradley–Terry 모델이다: $P (i ≻ j) = \frac{exp ( r _{i} )}{exp ( r _{i} ) + exp ( r _{j} )}$ . RRC가 다루는 문제는 이런 쌍대 변환을 셋 이상을 한 번에 비교하는 순위(ranking) 상황으로 확장하는 것이다.

Summary

Self-competitive ranking(SCR): 표집된 응답 ${o_{1}, ..., o_{m}}$ 끼리 서로 비교해 $r (x, o_{i}) = α \sum_{j \neq = i} 1 [o_{i} ≻ o_{j}]$ 로 보상을 구성한다. 여러 번 확률적으로 질의해 다수결을 취하고, 순환적 비일관성은 Kemeny 규칙으로 정리한다.

Anchor-guided ranking(AGR): 계산량을 $O (m lo g m)$ 에서 $O (mn)$ 으로 줄이기 위해, 현재 정책이 아닌 별도의 참조 정책이 생성한 $n$ 개의 고정 기준 응답과만 비교한다: $r (x, o_{i}) = α \sum_{k} 1 [o_{i} ≻ a_{k}]$ .

정량적 결과: AlpacaEval2에서 SFT 27.4% → 확률 기반 generative 보상 31.4% → RRC-SCR(투표 포함) 37.8% / RRC-AGR 37.5%. ArenaHardV2에서 SFT 6.4% → 확률 기반 7.8% → RRC-SCR 9.8% / RRC-AGR 10.2%. MATH-500에서는 SFT 38.8% → 확률 기반 44.8% → RRC-SCR 47.2% / RRC-AGR 48.4%. 흥미롭게도 MMLU-Redux에서는 확률 기반 방법(52.4%)이 SFT(55.4%)보다 오히려 낮았는데, RRC(56.4~56.7%)는 이를 다시 SFT 이상으로 끌어올렸다.

3B→8B로 보상 모델을 키우면 AlpacaEval2가 35.8%→41.3%, ArenaHardV2가 8.0%→11.2%로 오른다 — 투표 수·anchor 수를 늘리는 인퍼런스 시점 연산으로도 성능이 오르지만, anchor를 256개까지 늘리면 다양성이 줄어 오히려 성능이 정체·하락하는 스케일링 법칙 형태의 수확 체감이 관찰된다.

Discussion

MMLU-Redux에서 확률 기반 방법이 SFT보다 떨어졌다는 결과는, “generative 보상 모델을 그냥 쓰면 오히려 해가 될 수 있다”는 이 논문의 핵심 동기를 가장 직접적으로 보여주는 수치다 — RRC가 필요한 이유를 추상적 주장이 아니라 구체적 반례로 뒷받침한다.

이 항목의 위 P3(OSReward)가 지적한 “심판 모델 자체의 신뢰성 문제”와 이 논문의 문제의식은 서로 다른 층위에 있다 — RRC는 generative 보상 모델이 매기는 순위가 정확하다고 가정한 뒤 그 순위를 RL 신호로 바꾸는 방법을 다루고, OSReward는 그 심판 자체가 얼마나 정확한지를 묻는다. RRC가 가정하는 “정확한 순위”가 OSReward가 찾아낸 것과 같은 종류의 관대함 편향을 가진 심판에서 나온 것이라면, RRC의 이득도 함께 깎일 수 있다.

저자들은 별도의 한계 절을 두지 않았지만, anchor 다양성이 줄면 성능이 정체·하락한다는 관찰은 스스로 보고했다. 이 방법은 검증 가능한 규칙 기반 보상이 있는 과제가 아니라 학습된 보상 모델이 필요한 개방형 RL 상황에 국한된다.

description	Nine source-checked preprints across three fields — chiral-edge quantum error correction, CSS-code circuit structure, a 100-qubit quantum Fourier transform experiment, spin-liquid superconductivity, and five AI/ML results on interpretability and reward-signal reliability.
aliases	investigations/briefing/2026-08-07

Emergence

Explorer