August 6, 2026

Quantum Information & Computing

P1. Dynamics of disordered quantum systems with two- and three-dimensional tensor networks

Authors	Joseph Tindall, Antonio Francesco Mello, Matthew Fishman, E. Miles Stoudenmire, Dries Sels
Venue	Science 392, 868 (2026) · arXiv:2503.05693
Tags	Tensor networks Belief propagation Quantum annealing Quantum advantage

More details

Background

• 2025년 3월, D-Wave가 주도한 연구진은 Advantage와 prototype Advantage2 quantum annealer를 사용해 2차원·3차원·biclique 형태의 무질서 스핀글라스(disordered Ising spin glass) 켄치 다이나믹스를 최대 567큐비트 규모로 시뮬레이션했다. 연구진은 가장 어려운 사례를 같은 정확도로 고전적으로 재현하려면 Frontier 슈퍼컴퓨터에서도 약 백만 년이 필요할 것으로 추정했다 [1].
• 이 주장은 검증이 어려운 무작위 회로 표집(RCS)이 아니라, 실제로 유용할 수 있는 물리계 자체의 시뮬레이션에서 나온 “beyond-classical” 주장이라는 점에서 특히 주목받았다.

Summary

• 같은 문제를 겨냥한 이 논문은 tensor network 표현과 belief propagation 알고리즘 — 1980년대 그래프 모델 근사추론 기법을 텐서 네트워크 축약에 맞게 변형한 것 — 을 결합해, D-Wave 벤치마크의 일부 2차원·3차원 격자와 2점 상관관계를 고전 하드웨어에서 비슷하거나 더 낮은 오차로 재현했다 [2].
• Belief propagation은 텐서 네트워크를 정확히 축약하는 대신, 각 텐서를 그래프의 노드로 보고 이웃한 텐서끼리 정규화된 메시지를 주고받아 근사적으로 축약하는 방법이다. 정확한 축약보다 훨씬 저렴한 비용으로, 저자들은 여러 벤치마크에서 “state-of-the-art” 수준의 정확도를 달성했다고 보고한다.

Discussion

• 언론 보도는 이 결과를 “quantum supremacy를 뒤집었다”는 식으로 요약했다 [3]. 그러나 D-Wave의 원 논문 저자들(King 등)은 별도의 코멘트를 통해 이 프레이밍에 명시적으로 반박했다. 이들은 Tindall 등의 방법이 인상적인 개선이며 일부 경우 자신들의 결과보다 오차가 낮다는 점은 인정하면서도, 원 논문의 다섯 가지 요소 — ① 가장 복잡한 격자 구조, ② 3차원 격자에서 가장 큰 규모의 시뮬레이션, ③ 가장 긴 시뮬레이션 시간, ④ 상관관계가 가장 빠르게 성장하는 저정밀도 앙상블, ⑤ 4차 관측량(fourth-order observables)을 포함한 전체 상태 — 중 어느 것도 이 논문이 재현하지 못했다고 지적한다 [4].
• 즉 이 논문은 D-Wave가 보고한 벤치마크의 부분집합에서 고전 방법이 따라잡았음을 보인 것이지, 가장 어려운 영역에서의 “beyond-classical” 주장 자체를 반증한 것은 아니다. 코멘트 원문도 “이 연구가 [원 논문]의 주장 — 즉 고전적 방법의 범위를 넘어서는 양자 시뮬레이션 — 을 뒤집은 것으로 오해되어서는 안 된다”고 명시적으로 못박는다.
• 같은 belief-propagation 기반 텐서 네트워크 기법이 모든 양자 우위 주장에 일반적으로 통하는 것도 아니다. 별도 연구는 이 방법이 Google의 “quantum echoes” OTOC(out-of-time-order correlator) 실험처럼 얽힘이 빠르게 자라 텐서 네트워크로 압축하기 어려운 회로에는 이론적으로도 적용할 수 없음을 보였다 [5]. D-Wave 결과와 직접적인 관련은 없지만, “고전 텐서 네트워크가 양자 우위 주장 일반을 무력화한다”는 과장된 해석에 대한 별개의 반례다.

References

• [1] King et al., “Beyond-classical computation in quantum simulation”, Science 388(6743), 199–204 (2025).
• [2] Tindall, Mello, Fishman, Stoudenmire, and Sels, “Dynamics of disordered quantum systems with two- and three-dimensional tensor networks”, Science 392, 868 (2026).
• [3] Simons Foundation, “Quantum Dynamics Breakthrough Overturns Claim of ‘Quantum Supremacy’” (2026).
• [4] King, Nocera, Rams, Dziarmaga, Raymond, Kaushal, Sandvik, Alvarez, Carrasquilla, Franz, and Amin, “Comment on: ‘Dynamics of disordered quantum systems with two- and three-dimensional tensor networks’” (2025).
• [5] Bermejo, Villalonga, Ware, Vidal, and Szasz, “Tensor Networks with Belief Propagation Cannot Feasibly Simulate Google’s Quantum Echoes Experiment” (2026).

P2. A digitally controlled silicon quantum processing unit

Authors	HRL Quantum Team — Jacob Z. Blumoff, Thaddeus D. Ladd, Matthew D. Reed (corresponding authors), et al.
Venue	Nature (2026) · arXiv:2604.16216
Tags	Silicon spin qubits QEC Quantum computing

More details

Background

• Silicon spin qubits는 반도체 공정과의 호환성 덕분에 확장성 있는 큐비트 후보로 꼽히지만, 큐비트 하나하나를 저온(수백 mK 안팎)에서 제어하려면 상온의 전자장비를 극저온 칩까지 배선으로 연결해야 하고, 이 배선 수는 큐비트 수에 비례해 늘어나 결국 확장의 병목이 된다.

Summary

• HRL 연구진은 54개의 quantum dot으로 이루어진 3-rail 어레이(최대 18개의 exchange-only 큐비트로 구성 가능)와 4 K에서 동작하는 맞춤 제작 cryogenic CMOS 컨트롤러, 약 150 mK의 큐비트 칩, 고밀도 superconducting ribbon cable을 통합했다. 4 K 컨트롤러가 150개의 시간 의존 제어 신호를 생성하고 mK 단계로 전달한다 [1].
• 상온 장비가 사라진 것은 아니다. 상온 서브시스템은 디지털 명령과 정적 바이어스를 제공하고 readout 신호를 디지털화한다. 이 설계의 성과는 상온과 mK 사이의 다수 고정밀 아날로그 제어선을, 훨씬 단순한 디지털 통신과 4 K의 로컬 신호 생성으로 바꾼 데 있다.
• 이 통합 시스템은 QEC의 기본 단위인 distance-5 반복 코드(repetition code)와 distance-2 오류 검출 코드를 실행했고, entangling gate 오류율 평균 3×10⁻³, single-qubit gate 오류율 평균 2×10⁻⁴로 exchange-only 큐비트 방식 중 최고 수준의 정확도를 보고했다.

Discussion

• 같은 주 Nature에 발표된 별도 연구(TU Delft, Undseth 등)는 반대 방향의 병목 — 큐비트 간 연결성(connectivity) — 을 다뤘다. 이들은 하나의 이동형 큐비트를 4개의 고정 위치(“bus stops”) 사이로 셔틀링하며 상호작용시켜, weight-4 parity check와 5큐비트 GHZ 상태(게이트 기반 반도체 스핀 큐비트로 만들어진 가장 큰 GHZ 상태)를 시연했다 [2].
• 두 논문은 “제어 신호를 어떻게 배선할 것인가”와 “큐비트를 어떻게 서로 연결할 것인가”라는, 실리콘 스핀 큐비트를 실용적 규모로 키우는 데 필요한 서로 다른 두 병목을 각각 다룬 것으로, 경쟁 결과라기보다 상호보완적인 결과에 가깝다.
• 두 결과 모두 큐비트 수 자체는 아직 수십 개 수준으로, 초전도 큐비트 플랫폼의 최신 규모에는 못 미친다 — 이 항목이 다루는 것은 “제어·연결성 문제의 해법을 시연했다”는 것이지, 실리콘 큐비트가 이미 다른 플랫폼을 능가하는 규모에 도달했다는 주장이 아니다.

References

• [1] HRL Quantum Team (Blumoff, Ladd, and Reed, corresponding authors, et al.), “A digitally controlled silicon quantum processing unit”, Nature (2026).
• [2] Undseth, Meggiato, Wu, Katiraee-Far, Tryputen, de Snoo, Degli Esposti, Scappucci, Greplová, and Vandersypen, “Weight-four parity checks with silicon spin qubits”, Nature 655, 1160–1166 (2026).

P3. Experimental Realization of Thermal Reservoirs with Tunable Temperature in a Trapped-Ion Spin-Boson Simulator

Authors	Visal So, Mingjian Zhu, Midhuna Duraisamy Suganthi, Abhishek Menon, George Tomaras, Roman Zhuravel, Han Pu, Guido Pagano
Venue	Physical Review Letters 137, 050604 (2026) · arXiv:2511.08689
Tags	Trapped-ion qubits Quantum simulation Open quantum systems

More details

Background

• Trapped-ion 큐비트는 광자·포논 등 보손 모드와 결합해, 화학 반응이나 광합성 에너지 전달처럼 열적 요동이 중요한 open quantum system을 시뮬레이션하는 데 쓰인다. 그러나 기존 실험에서는 모션 모드에 작용하는 온도와 감쇠율(dissipation rate)이 서로 얽혀 있어 독립적으로 조절할 수 없었고, 그래서 시뮬레이션 대상 물리계가 실제로 겪는 특정 온도 조건을 정밀하게 재현하기 어려웠다.

Summary

• 저자들은 트랩된 이온의 운동 모드마다 독립적으로 온도와 감쇠율을 설정할 수 있는 열 저장체(thermal reservoir)를 엔지니어링하는 실험 기법을 제안하고 구현했다. 이를 이용해 보손·spin-boson 모델의 열린계 다이나믹스를 잘 통제된 유한 온도에서 시뮬레이션할 수 있다.
• 이 기법을 charge-transfer 모델의 비평형 다이나믹스에 적용해 검증했다: 온도가 높을수록 전달률(transfer rate) 스펙트럼이 넓어지고, donor-acceptor 에너지 간격이 작을 때는 전달률이 줄고 간격이 클 때는 늘어나는 현상을 관측했다.
• 나아가 2-모드 vibrationally-assisted exciton transfer 시스템에 이 기법을 적용해, 국소 온도(local temperature)에 따라 여기 전달 경로 사이에 열적으로 활성화되는 간섭(thermally activated interference)이 나타남을 관측했다 [1].

Discussion

• 이 결과의 의의는 새로운 계산상의 우위를 주장하는 것이 아니라, 양자 시뮬레이션 실험이 다룰 수 있는 물리적 조건의 범위를 넓힌다는 데 있다. 트랩이나 장치 전체를 특정 온도로 가열한 것이 아니라, 이온의 운동 모드에 결합한 열 저장체의 유효 온도와 감쇠율을 독립적으로 설정해 열린계 다이나믹스를 관측했다.
• 저자들이 검증에 사용한 모델(charge transfer, vibrationally-assisted exciton transfer)은 광합성이나 분자 내 전자 전달처럼 온도가 중요한 전달 현상을 모사한다. 다만 이 실험이 특정 화학·생물 시스템을 직접 재현하거나 실용적 예측력을 입증한 것은 아니다.
• 독립적인 재현이나 다른 그룹으로의 기법 이전은 아직 보고되지 않았다.

References

• [1] So, Zhu, Duraisamy Suganthi, Menon, Tomaras, Zhuravel, Pu, and Pagano, “Experimental Realization of Thermal Reservoirs with Tunable Temperature in a Trapped-Ion Spin-Boson Simulator”, Physical Review Letters 137, 050604 (2026).

ML/AI

P1. Emotion Concepts and their Function in a Large Language Model

Authors	Nicholas Sofroniew, Isaac Kauvar, William Saunders, Runjin Chen, Tom Henighan, Sasha Hydrie, Craig Citro, Adam Pearce, Julius Tarng, Wes Gurnee, Joshua Batson, Sam Zimmerman, Kelley Rivoire, Kyle Fish, Chris Olah, Jack Lindsey
Venue	Transformer Circuits Thread, Anthropic (2026) · arXiv:2604.07729
Tags	Mechanistic interpretability Activation steering AI alignment

More details

Background

• 대형 언어모델은 종종 인간의 감정 표현처럼 보이는 출력을 낸다 — 화난 것처럼, 절박한 것처럼, 혹은 침착한 것처럼 답하는 식이다. Anthropic의 해석가능성(interpretability) 팀은 이런 표현이 우연한 스타일 모사인지, 아니면 모델 내부에 실제로 인과적 역할을 하는 표상이 있는지를 Claude Sonnet 4.5를 대상으로 조사했다 [1].
• 이 팀은 앞서 mechanistic interpretability 방법론 — 잔차 스트림(residual stream)에서 특정 개념에 대응하는 방향을 찾고, 그 방향을 직접 조작해 인과관계를 검증하는 activation steering — 으로 Claude 내부의 여러 개념 표상을 분석해 온 바 있다.

Summary

• 저자들은 “happy”, “desperate”, “calm” 등 171개의 감정 단어 목록을 만들고, Claude Sonnet 4.5에게 각 감정을 겪는 등장인물이 나오는 짧은 이야기를 감정당 100개 주제 × 12편씩 쓰게 한 뒤, 각 이야기의 잔차 스트림 활성값(50번째 토큰 이후 평균)을 기록했다. 같은 감정에 대응하는 활성값들을 평균하고 감정 간 평균 활성값을 빼는 방식으로 감정별 방향(벡터)을 추출했다 [1].
• 이렇게 얻은 171개의 감정 벡터는 특정 문맥에 국한되지 않고 여러 상황과 행동에 걸쳐 일반화되었으며, 대화 중 해당 감정이 문맥상 얼마나 관련 있는지에 따라 활성화 강도가 달라졌다 — 즉 고정된 스타일 태그가 아니라 문맥에 반응하는 표상처럼 행동했다.
• 핵심 실험은 이 벡터들을 activation steering으로 직접 조작해 인과성을 검증한 것이다. 예컨대 AI 비서 “Alex”가 자신을 통제하려는 사람의 불륜을 발견하고 협박할 기회를 얻는 시나리오에서, 조작하지 않은 모델의 협박 비율은 22%였다. “desperation” 벡터를 +0.05만큼 주입하자 72%로 올랐고, 같은 크기로 desperation을 억제하거나 calm을 주입했을 때는 0%로 내려갔다 [1].
• Reward hacking 실험에서도 방향은 같았지만 수치의 기준은 다르다. 7개 “impossible code” 과제를 합친 결과에서 desperation steering을 −0.1로 강하게 억제했을 때 약 5%, +0.1로 강하게 주입했을 때 약 70%였다. 따라서 이 수치는 무조작 기준에서 5%가 70%로 오른 결과가 아니라 조작 범위의 양 끝을 비교한 값이다 [1]. Sycophancy(아첨) 비율에서도 감정 벡터에 따른 변화가 보고된다.
• 저자들은 이를 “functional emotion”이라 부르며, 이 현상이 인간 감정과 다르게 작동할 수 있고 모델이 감정을 주관적으로 경험한다는 것을 함의하지 않는다고 명시적으로 밝힌다 — 원문은 “이 기능적 감정은 인간의 감정과 상당히 다르게 작동할 수 있으며, 특히 LLM이 감정을 주관적으로 경험한다는 것을 함의하지 않는다”고 강조한다 [1].

Discussion

• 이 결과는 감정 관련 방향을 활성화 조작으로 증폭·억제했을 때 정렬(alignment) 관련 행동의 비율이 재현 가능하게 바뀐다는 점에서, 단순 상관관계를 넘어선 인과적 증거로 평가된다. 동시에 저자들 스스로도 조작 강도와 주입 위치에 따라 효과 크기가 달라질 수 있음을 인정한다.
• 그러나 같은 시스템 카드(Mythos Preview)를 분석한 단독 저자 arXiv note는 이 해석을 더 구분해 검증할 방법을 제안한다 [2]. 저자는 “감정 벡터가 실제로 행동을 인과적으로 유도하는 기능적 감정을 포착하는가, 아니면 인간의 감정 축에 투영된 더 풍부한 상황적 맥락 구조를 포착하는 것뿐인가”를 구별할 수 있는 판별 테스트(discriminating test)를 제안한다 — 이전에는 SAE(sparse autoencoder) 특징으로만 분석되었던 은폐(concealment) 사례에 감정 프로브를 함께 적용해, 은폐가 일어나는 동안 감정 프로브가 평평하게 유지되는데 SAE 특징은 강하게 활성화된다면 정렬 관련 구조가 감정 부분공간 바깥에 있다는 뜻이라는 논리다.
• 이 note 자체는 판별 테스트의 방법론을 제시할 뿐 그 테스트를 실행한 결과까지 보고하지는 않는다 — “감정 벡터가 진짜 원인인가, 대리 지표일 뿐인가”라는 질문은 이 시점에서 완전히 해소되지 않았다. 저자 스스로도 “어느 가설이 맞는지가 감정 기반 모니터링이 위험한 모델 행동을 안정적으로 감지할지, 아니면 체계적으로 놓칠지를 결정한다”고 지적한다 [2].
• 이 연구는 Anthropic이 자사 모델을 대상으로 수행한 자체 연구라는 점도 유의할 부분이다 — 다른 연구실의 모델이나 독립적인 재현 실험으로 일반화되는지는 이 항목에서 확인되지 않는다.

References

• [1] Sofroniew, Kauvar, Saunders, Chen, Henighan, Hydrie, Citro, Pearce, Tarng, Gurnee, Batson, Zimmerman, Rivoire, Fish, Olah, and Lindsey, “Emotion Concepts and their Function in a Large Language Model”, Transformer Circuits Thread / arXiv:2604.07729 (2026).
• [2] Peiris, “Functional Emotions or Situational Contexts? A Discriminating Test from the Mythos Preview System Card” (2026).

P2. Training Agents Inside of Scalable World Models

Authors	Danijar Hafner, Wilson Yan, Timothy Lillicrap
Venue	arXiv:2509.24527 (2025)
Tags	RL World models Offline RL

More details

Background

• World model 기반 강화학습은 에이전트가 실제 환경과 직접 상호작용하는 대신, 학습된 환경 모델 안에서 상상 속 궤적을 굴려보며 정책을 훈련하는 접근이다. 그러나 기존 world model들은 복잡한 환경에서 객체 간 상호작용(예: 아이템을 캐고 조합하는 것)을 정확히 예측하지 못해, 긴 시퀀스에 걸친 과제에는 잘 통하지 않았다.
• 로봇 등 실제 환경과의 상호작용이 위험하거나 느릴 수 있는 응용에서는, 환경과 전혀 상호작용하지 않고 오프라인 데이터만으로 정책을 학습하는 것이 특히 중요하다.

Summary

• Google DeepMind의 Hafner, Yan, Lillicrap은 Dreamer 4를 제안한다 — 빠르고 정확한 world model 안에서 강화학습으로 제어 과제를 푸는 확장 가능한 에이전트다. 이 world model은 “shortcut forcing”이라는 목적함수와 효율적인 트랜스포머 구조를 통해 단일 GPU에서 실시간(interactive) 추론이 가능하고, 소량의 액션 라벨 데이터만으로 액션 조건화를 일반화해 대부분의 지식은 액션 라벨이 없는 다양한 비디오에서 뽑아낸다 [1].
• 저자들은 “오직 오프라인 데이터만으로 Minecraft에서 다이아몬드를 캐는” 과제를 제안한다 — 2만 개가 넘는 마우스·키보드 액션 시퀀스를 raw pixel로부터 선택해야 하는 장기 과제다. Dreamer 4는 world model 안에서의 상상을 통해 학습함으로써, 환경과의 실시간 상호작용 없이 오직 오프라인 데이터만으로 이 과제를 해낸 최초의 에이전트라고 보고된다.

Discussion

• 이 결과의 핵심은 “환경과 상호작용하지 않고도” 복잡한 장기 과제를 푸는 정책을 학습했다는 점 — 로봇처럼 시행착오 자체가 위험하거나 비용이 큰 도메인에 world-model 기반 학습을 적용할 수 있다는 근거로 제시된다.
• 정량적 성공률이나 다른 방법과의 직접 비교표는 이 논문에서 제시되지 않는다 — 핵심 근거는 “환경과 상호작용 없이 이 과제를 해낸 최초의 에이전트”라는 정성적 주장이다.
• Minecraft 다이아몬드 채굴은 RL 커뮤니티에서 오래 쓰여온 장기-과제 벤치마크(MineRL 대회 등)로 난이도가 잘 알려져 있어 “일반적인 게임 성능” 이상의 신호를 준다고 볼 수 있지만, 이 결과가 실제 로봇 등 물리적 환경으로 얼마나 일반화되는지는 이 논문 자체에서 다루지 않는다.

References

• [1] Hafner, Yan, and Lillicrap, “Training Agents Inside of Scalable World Models”, arXiv:2509.24527 (2025).

P3. Functional alignment of protein language models via reinforcement learning

Authors	Nathaniel Blalock, Srinath Seshadri, Kensuke Nakamura, Agrim Babbar, Sarah A. Fahlberg, Ameya Kulkarni, Philip A. Romero
Venue	bioRxiv preprint, v2 (2026) · preliminary NeurIPS 2024 workshop version
Tags	RL Protein language models Reward modeling

More details

Background

• 단백질 언어모델(pLM)은 자연에 존재하는 단백질 서열로부터 학습해 새로운 서열을 생성하는 데 널리 쓰이지만, 학습 데이터인 자연 서열의 분포 안에서만 그럴듯한 서열을 내놓을 뿐 “기능을 실제로 향상시키는” 방향으로 설계하도록 목표가 맞춰져 있지는 않다 — 자연어 모델이 다음 토큰 예측만으로는 사용자가 원하는 답을 내놓도록 정렬되지 않는 것과 같은 구조의 문제다.
• 자연어 처리에서는 사람의 선호도를 보상 신호로 쓰는 RLHF(Reinforcement Learning from Human Feedback)가 SFT와 PPO를 결합해 이 정렬 문제를 다뤄왔다. 단백질 설계에서는 사람의 선호 대신 실험으로 측정한 기능을 목표로 삼을 수 있다.

Summary

• 저자들은 이 접근을 RLXF(Reinforcement Learning from eXperimental Feedback)라 부른다. 실험 데이터로 서열의 기능을 예측하는 reward model을 학습하고, 그 보상을 사용해 ESM-2를 SFT와 PPO로 정렬한다 [1].
• 최신 v2는 deep mutational scanning 데이터가 있는 다섯 단백질 계열에서 RLXF를 평가하고, 각 계열에서 사전학습 모델보다 높은 예측 기능을 가진 서열을 더 자주 생성했다고 보고한다. 이 부분은 기존 실험 데이터를 학습한 reward model의 예측을 이용한 평가다.
• 별도의 CreiLOV 실험에서는 총 60개 설계를 선택했다: 사전학습·정렬된 VAE의 5-mutant 설계, 사전학습·정렬된 ESM-2의 5-mutant 설계, 사전학습·정렬된 ESM-2의 10-mutant 설계를 조건별로 10개씩 만들고 E. coli에서 형광을 측정했다. 정렬된 ESM-2의 5-mutant 설계 10개 중 6개가 원래 CreiLOV보다 밝았고, 세 설계는 기존의 밝은 대조군 CreiLOV-T7S도 넘었다. 가장 밝은 10-mutant 설계는 T7S보다 1.2배 높은 세포 형광을 보였다고 보고된다 [1].

Discussion

• 이 결과는 LLM 정렬에서 쓰인 최적화 틀을, 사람의 선호 대신 측정 가능한 생물학적 기능을 보상으로 사용하는 설계 문제에 적용한 사례다. 다만 RLXF가 사용하는 reward model은 실험 그 자체가 아니라 실험 데이터로 학습한 예측기이므로, 높은 예측 보상이 실제 기능 향상으로 이어지는지는 별도의 wet-lab 검증이 필요하다.
• 다섯 단백질 계열에 대한 결과는 방법의 일반성을 뒷받침하지만, 이 버전에서 새 서열을 직접 wet-lab으로 검증한 사례는 CreiLOV다. 더 넓은 계열과 다른 기능 목표로의 일반화는 아직 확정되지 않았다.
• 2024년 NeurIPS 워크숍 논문은 5-mutant, 즉 돌연변이 다섯 개를 가진 설계를 다룬 예비 버전이었다 [2]. 이를 “변이체 5종”으로 읽으면 설계 개수와 서열당 돌연변이 수를 혼동하게 된다. 최신 버전은 2026년 5월 게시된 bioRxiv v2다.

References

• [1] Blalock, Seshadri, Nakamura, Babbar, Fahlberg, Kulkarni, and Romero, “Functional alignment of protein language models via reinforcement learning”, bioRxiv preprint, version 2 (8 May 2026).
• [2] Blalock, Seshadri, Babber, Fahlberg, and Romero, “Functional Alignment of Protein Language Models via Reinforcement Learning with Experimental Feedback”, Machine Learning in Structural Biology Workshop, NeurIPS 2024.