2026. 08. 20 · COEX SEOUL

SELF-EVOLVING
DATA

스스로 학습하는 AI, 진화하는 데이터

안녕하세요. 삼성전자 김민수입니다. 오늘 말씀드릴 주제는 Self-Evolving Data — 스스로 학습하는 AI, 진화하는 데이터입니다.

지금까지 우리는 AI가 얼마나 큰지, 파라미터가 몇 개인지에 주목했습니다. 오늘은 모델 바깥에 있는 질문을 보겠습니다. 그 모델은 다음에 무엇을 학습해야 하는지 어떻게 알 수 있을까요? 그리고 그 데이터는 누가 만들까요?

결론부터 말씀드리면, 앞으로 AI의 경쟁력은 이미 있는 데이터를 얼마나 많이 모았는가보다 다음에 필요한 데이터와 경험을 얼마나 잘 만들어 내는가에 달려 있습니다.

다음 장 연결: 오늘 이야기의 지도를 먼저 보여드리겠습니다.

TODAY'S MESSAGE

오늘 전하고 싶은 이야기.Today's Message

00LLM은 어떻게 발전해 왔는가
01규모의 공식과 한계
02좋은 데이터란? — 양보다 질
03Self-Evolving Loop — 생성·검증·선별·학습
04Agentic AI — Agent의 발전과 Environment(환경)
05Physical AI — 로봇의 발전과 Experience(경험)
06하나의 공통 구조

도메인이 바뀌어도 법칙은 하나다.

생성 → 검증 → 선별 → 학습 AI가 스스로 학습할 생태계를 만드는 기술이 핵심이 된다.

오늘 이야기는 이 순서로 진행합니다. 먼저 LLM이 어떻게 발전해 왔는지 짚고, 규모의 공식이 왜 통했고 어디서 멈추는지 근거로 보고, 좋은 데이터가 양이 아니라 질의 문제임을 확인합니다. 그다음 그 데이터를 스스로 만들어 내는 Self-Evolving Loop — 생성, 검증, 선별, 학습의 고리를 살펴봅니다. 후반부는 도메인을 바꿉니다. Agentic AI에서 Agent가 어떻게 발전했고 왜 환경이 필요한지, Physical AI에서 로봇이 어떻게 발전했고 왜 경험이 필요한지를 차례로 봅니다.

전하고 싶은 메시지는 하나입니다. 도메인이 바뀌어도 법칙은 하나이고, AI가 스스로 학습할 생태계를 만드는 기술이 핵심 경쟁력이 될 것입니다.

MODEL TRACK 1 · LLM

LLM은 크기에서 추론으로 발전했다.LLMs Advanced from Scale to Reasoning

더 큰 모델 → 지시를 따르는 모델 → 오래 생각하는 모델. 단계마다 필요한 데이터가 바뀌었다.

2020 더 크게

GPT-3 Figure 1.2. 모델이 클수록(1.3B→13B→175B) in-context 예시를 훨씬 효율적으로 활용해 정확도가 가파르게 오른다.

GPT-3 2020 · Figure 1.2

GPT-3 · Scaling Laws — 큰 모델일수록 문맥 속 예시만으로 새 과제를 배운다. 데이터 · 웹 텍스트 전부

2022 지시를 따르게

InstructGPT Figure 2. 시연 데이터로 지도학습, 비교 데이터로 보상모델 학습, PPO로 정책 최적화하는 RLHF 3단계 도식.

InstructGPT 2022 · Figure 2

ChatGPT · GPT-4 — RLHF로 사람의 선호와 지시 수행을 학습한다. 데이터 · 사람의 선호·지시

2024–26 오래 생각하게

DeepSeek-R1 Figure 2. RL 학습이 진행될수록 R1-Zero의 AIME 정확도가 올라 o1-0912 수준을 넘어선다.

DeepSeek-R1 2025 · Figure 2

o1 · DeepSeek-R1 · Kimi k1.5 — RLVR로 긴 추론을 학습한다. 2026년 7월 공개된 2.8T 파라미터 오픈웨이트 Kimi K3는 웹·코드·수학·지식 코퍼스를 다시 쓰고(rephrasing), 추론·Agent·코딩 과제를 지식 그래프로 대규모 합성해 넣었다. 데이터 · 검증 가능한 문제·풀이

모델이 도약할 때마다 먼저 바뀐 것은 학습 데이터의 종류였다.

본론에 들어가기 전에, 모델이 어떻게 발전해 왔는지 세 갈래로 빠르게 짚겠습니다. 첫 번째, LLM입니다. 2020년 GPT-3와 Scaling Laws는 파라미터와 데이터를 늘리면 능력이 예측 가능하게 커진다는 것을 보였습니다. 2022년 ChatGPT는 사람의 선호 데이터, RLHF로 지시를 따르는 법을 배웠습니다. 2024년부터는 o1, DeepSeek-R1, Kimi k1.5처럼 검증 가능한 보상으로 오래 생각하는 법을 배우는 추론 모델이 주류가 됐고, 올해 7월에는 2.8조 파라미터 오픈웨이트 모델 Kimi K3까지 나왔습니다.

이슈가 된 Kimi K3의 기술 보고서를 보면 데이터를 어떻게 넣었는지가 흥미롭습니다. 정확한 토큰 수는 공개하지 않았지만 — 전작 K2가 15.5조 토큰이었습니다 — 웹·코드·수학·지식 네 도메인과 대규모 비전 코퍼스를 쓰면서, 지식·수학 코퍼스는 스타일을 바꿔 다시 쓰는 rephrasing으로 양을 불렸고, 추론·Agent·코딩 과제는 지식 그래프 기반으로 대규모 합성했습니다. 8K에서 100만 토큰까지 늘리는 롱컨텍스트 학습도 증거를 문서 전체에 흩어 놓은 합성 과제로 했습니다. 오늘 발표의 주제 그대로, frontier 모델의 데이터는 이미 상당 부분 만들어 넣는 데이터입니다.

주목할 점이 있습니다. 단계가 바뀔 때마다 모델 구조보다 먼저 바뀐 것은 학습 데이터의 종류입니다. 웹 텍스트에서, 사람의 선호로, 그리고 검증 가능한 문제와 풀이로요.

다음 장 연결: 세 단계 모두 데이터의 종류가 먼저 바뀌었습니다. 그렇다면 지금까지의 공식, 즉 크기 경쟁은 왜 통했는지부터 보겠습니다.

THE OLD RACE

크게. 더 크게.Bigger. And Bigger.

모델의 크기와 사람이 만든 데이터의 양이 성능을 밀어 올렸다.

Kaplan et al. Figure 1. Compute, dataset size, and parameter count increase as test loss follows smooth power laws. — SCALING LAWS · 2020 **규모가 커질수록 손실은 예측 가능하게 줄어든다.** Kaplan et al. · Scaling Laws for Neural Language Models · OpenAI 2020

Huang et al. Gradient Interference figure. Larger OLMo models carry more task signal with less interference from non-task tokens. — GRADIENT INTERFERENCE · 2026 **큰 모델은 희귀 과제의 학습 신호를 덜 덮어쓴다.** Huang et al. · Stanford·Harvard·MIT·Anthropic · 2026

규모의 효과는 과제 간 간섭 감소로 설명된다 — 뒤집으면, 능력을 결정하는 것은 그 능력을 요구하는 데이터의 빈도다.

그리고 키우는 쪽의 청구서도 커지고 있다 — HBM 메모리, 전력, 데이터센터 인프라가 전 세계적으로 부족하다.

지금까지의 AI 경쟁은 비교적 단순한 공식으로 설명할 수 있었습니다. 모델을 크게 만들고, 더 많은 연산을 투입하고, 인터넷과 사람이 만든 데이터를 더 많이 넣는 것입니다. 화면의 그래프가 그 근거입니다. O***의 Scaling Laws와 D***의 Chinchilla 연구는 컴퓨트, 데이터, 파라미터를 열 배씩 늘릴 때마다 손실이 자로 잰 듯한 power law로 떨어진다는 것을 보였습니다. 그래서 파라미터 수, GPU 수, 토큰 수가 경쟁의 대표 지표가 됐습니다.

올해는 규모가 왜 통했는지 설명하는 연구도 나왔습니다. Stanford, Harvard, MIT, A***의 공동 연구는 작은 모델에서는 흔한 과제의 gradient가 드문 과제의 학습 신호를 계속 덮어써서, 희귀한 능력이 자리 잡기 전에 지워진다는 것을 보였습니다. 큰 모델은 간섭이 줄어 드문 능력이 지워지지 않고 쌓입니다. 그런데 이 설명을 뒤집으면 더 중요한 결론이 나옵니다. 어떤 능력이든 그것을 요구하는 데이터가 충분한 빈도로 나와야 배울 수 있다는 것입니다. 규모는 그 빈도 문제를 비싸게 우회하는 수단일 뿐이고, 결국 필요한 것은 그 능력을 겨냥한 전문적인 데이터입니다.

게다가 키우는 쪽의 비용도 만만치 않습니다. HBM 메모리는 주요 공급사 물량이 내년까지 선매진됐고, 데이터센터 전력과 부지 확보가 세계적으로 병목이 되고 있습니다. 규모의 공식은 물리 인프라의 벽에도 부딪히고 있는 것입니다.

그런데 이 공식에는 한 가지 전제가 있습니다. 모델이 커지는 만큼 학습할 가치가 있는 데이터도 계속 공급할 수 있어야 한다는 전제입니다. 이제 그 전제가 흔들리기 시작했습니다.

다음 장 연결: 왜 흔들리는지, 한계를 하나씩 보겠습니다.

THE NEW BOTTLENECK

이제 병목은 모델이 아니라 데이터다.The Bottleneck Is No Longer the Model — It's Data

01
비용 — 전문가 시급 $80~500+ · frontier lab당 사람 데이터 지출 연 10억 달러.
02
오염 — 크라우드워커의 33~46%가 작문 과제를 LLM으로 처리.
03
공급 — 사람이 만든 공개 텍스트는 2028~2032년 소진 전망(Epoch AI).
04
반복 — 재사용 효과는 4 epoch까지 · 그 이상은 수확 급감.
05
분포 — frontier급 난제는 인터넷에 애초에 없다(tail problem).

Epoch AI Figure. 사람이 만든 텍스트의 유효 재고와 학습 데이터셋 크기 전망이 2028년 전후에 교차한다. — EPOCH AI · 사람이 만든 텍스트 재고 vs 데이터셋 크기 전망Villalobos et al., 2024 · arXiv:2211.04325

모델만 키워서는 해결할 수 없다. 이제는 스스로 개선되는 데이터가 필요하다.

왜 더 큰 모델에 더 많은 데이터를 넣는 것만으로는 부족할까요? 문제는 다섯 가지입니다.

첫째, 비용입니다. 전문가가 만드는 학습 데이터는 시간당 80달러에서 200달러, 희소 도메인 전문가는 500달러가 넘고, frontier lab의 사람 데이터 지출은 lab당 연 10억 달러 규모로 보고됩니다. 둘째, 오염입니다. 사람이 만들었다는 데이터조차 깨끗하지 않습니다. 크라우드워커의 33에서 46퍼센트가 작문 과제를 LLM으로 처리한 것으로 추정됐습니다.

셋째, 공급입니다. Epoch AI는 사람이 만든 공개 텍스트가 이르면 2028년, 늦어도 2032년이면 소진된다고 추정합니다. 원래 이르면 2026년이었는데, 최근 전망을 2028년으로 늦춰 잡았습니다. 넷째, 반복입니다. 같은 데이터는 4 epoch까지만 새 데이터에 준하고, 그 이상 돌리면 추가 컴퓨트가 사실상 버려집니다.

다섯째가 가장 근본적인 tail problem입니다. frontier 모델을 가르칠 만큼 어렵고 전문적인 문제는 인터넷에 애초에 거의 없고, 앞 장에서 본 것처럼 드물게 나오는 데이터는 큰 모델도 배우지 못합니다.

결국 병목은 데이터의 양이 아니라, 지금 이 모델을 한 단계 움직일 데이터의 빈도와 난이도입니다. 그 데이터를 사람이 다 만들 수 없다면 — 스스로 발전하는 데이터가 필요해집니다.

다음 장 연결: 이 병목이 기업의 일까지 어떻게 바꾸는지, 한 빅테크의 사례를 보겠습니다.

DATA IS THE NEW MOAT

데이터 구축에 막대한 자금이 투입된다.Massive Capital Is Flowing into Data Creation

SC*** AI · 2025$14.3BM***가 지분 49% 인수 · 기업가치 $29B · 창업자는 M***로 이동 SU*** AI · 2025$25B외부 투자 없이 연매출 $1.2B · 이 기업가치로 $1B 유치 협상 중 M***** · 2026$20B연환산 매출 $2B · 10개월 만에 기업가치를 2배로 올려 유치 협상 중

전문가가 만드는 학습 데이터 시장이 frontier lab 경쟁의 핵심 인프라가 됐다.

보도에 따르면 M***는 엔지니어·PM 약 6,500명 규모의 Applied AI 조직에 frontier model의 훈련·평가에 쓸 퍼즐과 복잡한 코딩 문제 제작을 맡겼다 (원문 ↗). 금액은 각 보도 기준이며, 창업자가 퍼즐 업무를 직접 지시했다는 보도는 아니다.

이 병목을 상징적으로 보여주는 사례가 한 빅테크 M***입니다. 외신 보도에 따르면 M***는 약 6,500명의 엔지니어와 프로덕트 매니저로 Applied AI 조직을 구성했고, 이들이 frontier model을 훈련하고 평가할 퍼즐과 복잡한 코딩 문제를 만드는 업무를 맡았습니다.

데이터 기업 SC*** AI의 창업자가 M***의 초지능 조직을 이끌고 있고 Applied AI가 이 조직을 지원합니다. 다만 원문은 그가 개인적으로 이 업무를 지시했다고 말하지는 않습니다. 발표에서는 이 사실관계를 구분해 말씀드리겠습니다.

이 흐름은 투자 시장에서 더 뚜렷합니다. M***는 2025년 6월 데이터 기업 SC*** AI에 143억 달러를 투자해 지분 49%를 확보했고, 창업자는 M***로 자리를 옮겼습니다. 외부 투자 없이 성장한 SU*** AI는 연매출 12억 달러에 기업가치 250억 달러로 10억 달러 유치를 협상했고, 전문가 네트워크로 학습 데이터를 만드는 M*****는 연환산 매출 20억 달러를 넘기며 10개월 만에 기업가치를 두 배인 200억 달러로 올려 유치를 협상 중입니다.

중요한 것은 최고 수준의 엔지니어와 전문가가 제품이 아니라 AI가 배울 문제를 만드는 데 투입되고, 그 시장에 조 단위 자본이 몰린다는 점입니다. AI 경쟁의 핵심 자원이 GPU만이 아니라 학습 경험을 설계하는 능력이라는 뜻입니다.

다음 장 연결: 이 문제는 한 기업만의 고민이 아닙니다. 연구 주제도 빠르게 이동했습니다.

ICLR · ICML · NEURIPS · 2016 → 2026 · 61,922 PAPERS

연구의 관심도 데이터로 옮겨 갔다.Research Attention Has Shifted to Data

3대 ML 학회 채택 논문 전체의 제목과 초록을 같은 기준으로 분류한 연도별 논문 수

DATA SELECTION DATA GENERATION

2016

19

11

2017

30

18

2018

39

33

2019

70

52

2020

73

91

2021

88

157

2022

122

178

2023

156

240

2024

221

293

2025

316

529

2026*

298

356

전수 조사 공식 프로그램 61,922편을 제목·초록 기준으로 검사했다. 표본 선택·정제·능동학습·커리큘럼과 합성 데이터·증강·과제·경험 생성을 포함하고, feature selection·model pruning·추론 시점 sampling은 제외했다.

검증 자료 방법과 범위 ↗ · 포함 논문 3,390건과 판정 근거 CSV ↗ · 재현 스크립트 ↗

*2026년은 ICLR·ICML만 포함했다. NeurIPS 2026 채택 결과는 아직 공개되지 않았다.

연구 동향은 2016년부터 다시 조사했습니다. ICLR, ICML, NeurIPS 공식 프로그램에 실린 채택 논문 61,922편의 제목과 초록을 모두 같은 규칙으로 검사했습니다. 단순히 제목에 세 구문이 들어간 논문만 센 것이 아닙니다.

Data Selection은 학습에 쓸 표본을 고르고 줄이는 연구입니다. 데이터 선택·정제·필터링·pruning, coreset, active learning, curriculum, data valuation을 포함했습니다. Data Generation은 학습이나 평가에 쓸 데이터를 새로 만드는 연구입니다. 합성 데이터, 데이터 증강, 문제·과제·경험·환경 생성, pseudo-labeling을 포함했습니다. 반면 feature selection, model·weight·token pruning, 추론 시점의 sampling은 제외했습니다.

그 결과 Data Selection은 2016년 19편에서 2025년 316편으로, Data Generation은 11편에서 529편으로 늘었습니다. 2026년은 NeurIPS가 빠진 부분 집계입니다. 포함 논문 3,390건은 판정 규칙, 일치 문맥, 공식 원문 주소와 함께 CSV로 공개했습니다.

데이터는 더 이상 학습 전에 한 번 처리하고 끝내는 재료가 아닙니다. 무엇을 고르고 무엇을 새로 만들 것인가가 독립된 연구 주제가 됐습니다.

다음 장 연결: 그래서, 좋은 데이터는 무엇일까요?

GOOD DATA ≠ MORE DATA

좋은 데이터는 어떤 데이터인가.What Counts as Good Data?

데이터를 고르는 기준도 연구가 됐다 — 학습 전에 한 번 재던 방식에서, 학습 중에 다시 재는 방식으로.

① 전통적 방식 · 학습 전에 데이터를 잰다

분포·다양성 임베딩 커버리지, 클러스터 균형, 의미 중복 제거SemDeDup
불확실성 entropy · margin · least confidenceActive Learning
난이도 forgetting events, EL2N·GraNd 점수Data Diet
표면 품질 perplexity 필터, 규칙 정제, LLM 심사 점수AlpaGasus

한계 — 학습이 시작되기 전 한 번 매긴 점수를 끝까지 재사용한다. 모델이 이미 배운 것을 반영하지 못한다.

② 동적 방식 · 학습 도중에 다시 잰다

gradient 유사도 목표 과제의 기울기와 정렬된 표본만 선택LESS
영향함수(Influence Function) 이 표본을 빼면 목표 손실이 얼마나 변하는가Influence
dual · bilevel 바깥 루프에서 도메인·표본 가중치를 최적화DoReMi
학습 중 손실 줄일 수 있는 손실만 골라 토큰 단위까지 선별RHO-LOSS · Rho-1

전환점 — 데이터의 가치는 고정값이 아니라 모델과 학습 시점의 함수다.

RHO-LOSS Figure. Reducible loss로 고른 표본은 라벨 오류·무관·중복 비율이 uniform sampling이나 gradient norm보다 낮다. — RHO-LOSS · 무엇을 고르고 무엇을 버렸나노이즈·중복 비율이 다른 기준보다 낮다 · arXiv:2206.07137

① 정적 선택 · STATIC 데이터의 성질로 고른다

분포·난이도·품질처럼 데이터 자체의 점수를 학습 전에 한 번 매겨 데이터셋을 고정한다. 싸고 확장 가능하지만, 모델이 성장해도 같은 데이터를 고른다.

② 동적 선택 · DYNAMIC 모델의 상태로 고른다

지금 모델에게 무엇이 필요한지를 학습 도중 다시 계산한다. 같은 데이터라도 시점에 따라 가치가 달라진다 — 선별이 학습 루프 안으로 들어온다.

전제 · Data-Centric AI — 모델을 그대로 두고 데이터만 정리해도 성능은 오른다. Andrew Ng는 강판 결함 검출에서 모델 튜닝으로는 76.2%가 그대로였지만, 라벨 기준을 통일하고 데이터를 정리하자 93.1%로 올랐다고 보고했다.

앞에서 데이터가 병목이라고 말씀드렸습니다. 그러면 좋은 데이터는 어떤 데이터인가가 남습니다. 고르는 기준도 연구가 됐습니다 — 학습 전에 한 번 재던 방식에서, 학습 도중에 다시 재는 방식으로 발전해 왔습니다.

출발점은 Andrew Ng의 data-centric AI입니다. 모델 코드를 그대로 두고 라벨 기준을 통일하고 데이터를 정리했더니, 두 달 동안 모델 튜닝으로 꿈쩍 않던 강판 결함 검출 정확도가 76.2%에서 93.1%로 올랐습니다. 개선의 대상이 모델에서 데이터로 옮겨 온 사건입니다.

첫 번째 갈래는 전통적인 방식입니다. 학습을 시작하기 전에 데이터 자체를 잽니다. 임베딩 분포와 중복도, 예측 불확실성, forgetting이나 EL2N 같은 난이도 점수, perplexity 필터와 LLM 심사 점수가 여기 속합니다. 문제는 이 점수가 학습 전에 한 번 매겨진 뒤 끝까지 재사용된다는 점입니다. 모델이 그 사이 무엇을 배웠는지는 반영되지 않습니다.

두 번째 갈래가 동적 방식입니다. 학습 도중에 다시 잽니다. LESS처럼 목표 과제의 gradient와 정렬된 표본을 고르거나, 영향함수로 이 표본을 뺐을 때 목표 손실이 얼마나 변하는지 보거나, DoReMi처럼 바깥 루프에서 데이터 비율 자체를 최적화합니다. 핵심 전환은 이것입니다. 데이터의 가치는 고정된 값이 아니라 모델과 학습 시점의 함수입니다.

그래서 난이도로 보면 세 구간이 나옵니다. 쉬운 데이터는 이미 맞히니 새 신호가 없고, 노이즈는 라벨이 틀려서 아무리 봐도 못 맞힙니다. 정작 학습이 잘 되는 건 그 중간입니다. 기준 모델은 맞히는데 지금 학습 중인 모델은 아직 틀리는 데이터, 즉 배울 수 있는데 아직 안 배운 구간입니다. RHO-LOSS가 이 기준으로 골라 전체 학습보다 빠르게 목표 정확도에 도달했고, BWS는 점수 구간을 창처럼 잘라 고르는 방식으로 같은 직관을 확장했습니다.

정리하면, 좋은 데이터는 그냥 어려운 데이터가 아니라 지금 이 모델이 아직 못 배운 데이터입니다.

다음 장 연결: 이 기준을 산업에서 시스템으로 구현한 사례가 있습니다. 다음 장에서 약한 모델과 강한 모델을 함께 써서 바로 이 중간 구간을 찾아내는 방법을 보시겠습니다.

DEFINITION → EVIDENCE → SYSTEM

좋은 데이터란 모델 학습 효율을 높이는 데이터다.Good Data Raises Training Efficiency

전체를 반복해서 학습하는 대신, 목표 성능에 더 크게 기여하는 데이터를 선별하고 생성한다.

LESS · ICML 2024 5%가 전체를 이긴다

목표 능력 기준으로 고른 5% 데이터 학습이 전체 데이터 학습을 능가했다.

LIMO · COLM 2025 800개면 충분하다

고품질 추론 예제 800개 SFT만으로 AIME24 63.3%, MATH500 95.6%를 기록했다.

EASY · 이미 맞힌다쉽고 중복된 데이터. 더 학습해도 새로운 신호가 없다.

LEARNABLE HARD · 배울 수 있다기준 모델은 맞히는데 지금 모델은 아직 틀리는 구간. 여기만 골라도 전체 학습보다 빨랐다.

NOISY · 못 맞힌다라벨 오류·모순으로 아무리 학습해도 맞힐 수 없다. 넣을수록 신호를 흐린다.

Autodata Agentic Self-Instruct 구조. Main Agent가 Challenger LLM에 문제 생성을 지시하고, Strong Solver·Weak Solver·Verifier를 보상 모델로 삼아 학습 데이터를 만든다. — AUTODATA · 문제를 만들고 채점해 걸러낸다 Kulikov et al., Meta FAIR 2026 · arXiv:2606.25996

CHALLENGER문제 생성

WEAK도전

STRONG검증

JUDGE난이도 조정

좋은 데이터는 어려운 데이터가 아니라 지금 이 모델이 아직 못 배운 데이터다.

좋은 데이터를 한 문장으로 정의하면 모델 학습 효율을 높이는 데이터입니다. LESS는 목표 능력에 미치는 영향도를 기준으로 고른 5%의 데이터로 학습한 모델이 전체 데이터로 학습한 모델을 능가함을 보였고, LIMO는 고품질 추론 예제 800개만으로 AIME24 63.3%, MATH500 95.6%에 도달했습니다. 같은 성능을 더 적은 데이터와 연산으로 달성하거나, 같은 예산으로 더 높은 성능을 내는 것이 핵심입니다.

산업에서는 M***가 이 방향을 시스템으로 만들었습니다. M*** FAIR의 Autodata는 양질의 데이터를 사람 대신 만들어 내는 데이터 과학자 Agent입니다. Challenger가 문제를 만들고 Weak Solver와 Strong Solver가 각각 풉니다. 둘 다 맞히면 너무 쉽습니다. Strong Solver까지 실패하면 품질이나 난이도를 다시 봐야 합니다. Judge가 두 결과를 분석해 생성 레시피를 수정하고 다시 문제를 만듭니다.

예전에는 데이터 더미에서 보석을 골랐다면 이제는 모델의 현재 수준에 맞는 보석을 주문 제작합니다.

다음 장 연결: 이 생성과 평가가 반복되면 데이터셋의 성격 자체가 바뀝니다.

THE LOOP CLOSES

데이터도 Closed-Loop가 중요하다.Data Needs a Closed Loop, Too

생성 → 검증 → 선별 → 학습이 닫힌 고리(폐루프)로 이어질 때, 데이터는 스스로 진화한다. 이 네 단계가 오늘 발표 전체를 관통하는 법칙이다.

Absolute Zero Figure 1. 지도학습에서 검증 가능한 보상 기반 RL로, 다시 사람이 문제를 주지 않는 self-play로 갈수록 사람의 감독이 줄어든다. — ABSOLUTE ZERO · 2025 **사람이 데이터를 주는 단계가 하나씩 사라진다.** Zhao et al., NeurIPS 2025 · arXiv:2505.03335

01생성문제·풀이

02검증채점·보상

03선별난이도·다양성

04학습더 강한 모델

NEXT
DATA

DEEPSEEK-R1규칙 채점 보상만으로 emergent reasoning 행동 확인 DAPOAIME24 30→50점 · 레시피 전체 공개 DATA AGENT선별 정책을 end-to-end로 학습 ABSOLUTE ZEROProposer와 Solver가 함께 진화

Self-Evolving Data의 핵심은 생성, 검증, 선별, 학습이 하나의 닫힌 고리로 이어지는 Closed-Loop(폐루프)입니다. 문제와 여러 풀이를 만들고, 정답이나 채점자로 결과를 검증하고, 학습 가치가 있는 것을 선별하고, 다시 모델을 학습합니다. 이 고리가 닫히는 순간 데이터는 한 번 만들고 끝나는 파일이 아니라 모델과 함께 진화하는 시스템이 됩니다. 이 네 단계를 기억해 주십시오. 남은 발표 내내 도메인만 바꿔 가며 같은 고리가 반복됩니다.

DeepSeek-R1 연구의 R1-Zero는 검증 가능한 보상과 RL만으로 self-reflection 같은 행동이 나타날 수 있음을 대규모로 보여줬고, DAPO는 naive GRPO로는 AIME24 30점에 머물던 Qwen2.5-32B를 sampling과 loss 설계 개선으로 50점까지 끌어올리고, 그 레시피 전체를 공개했습니다. Data Agent는 어떤 데이터를 학습할지 고르는 선별 단계 자체를 end-to-end로 학습하는 Agent를 제안했습니다.

Absolute Zero에서는 한 단계 더 나아가 Proposer와 Solver가 외부 문제 데이터 없이 문제와 curriculum을 함께 발전시킵니다. 각각의 논문을 깊게 보려는 것이 아닙니다. 방향을 보시면 됩니다. 생성자, 해결자, 평가자가 연결되면서 데이터 공장이 스스로 좋아지고 있습니다.

다음 장 연결: 여기까지가 텍스트 도메인입니다. 이제 도메인을 바꾸겠습니다. 먼저 Agent가 어디까지 왔는지 보고, 그 고리가 Agentic AI에서 어떻게 반복되는지 보겠습니다.

MODEL TRACK 2 · AGENTIC AI

Agent는 대화에서 자율 행동으로 발전했다.Agents Advanced from Chat to Autonomous Action

묻고 답하는 모델 → 도구를 쓰는 모델 → 스스로 일하는 모델.

2022 묻고 답하게

InstructGPT Figure 1. 사람 평가 승률에서 1.3B 정렬 모델이 175B 원본 모델을 앞선다.

InstructGPT 2022 · Figure 1

한 턴 질문에 한 턴 응답 — 지식은 있지만 행동이 없다. 데이터 · 대화 텍스트

2023–24 도구를 쓰게

Toolformer Figure 2. API 호출을 샘플링하고 실행한 뒤 손실이 줄어든 호출만 남겨 학습 데이터를 만든다.

Toolformer 2023 · Figure 2

Function calling — 검색·코드 실행·API 호출로 행동 반경이 넓어진다. 데이터 · 도구 호출 기록

2025–26 스스로 일하게

TheAgentCompany Figure 1. 브라우저·터미널·코드와 시뮬레이션 동료로 구성된 회사 환경에서 에이전트가 관찰하고 행동한다.

TheAgentCompany 2024 · Figure 1

Computer use · 장시간 자율 작업 — Kimi K2는 스스로를 “open agentic intelligence”로 정의한다. 데이터 · 환경 속 시행착오 rollout

행동이 길어질수록 필요한 것은 정답 문장이 아니라 시행착오 데이터다.

두 번째는 Agent입니다. 3년 만에 대화에서 자율 행동으로 왔습니다. 처음에는 한 번 묻고 한 번 답하는 챗봇이었습니다. 2023년부터 도구 호출이 붙어 검색하고 코드를 실행하는 모델이 됐고, 지금은 컴퓨터를 직접 조작하며 몇 시간짜리 작업을 해내는 에이전트로 발전했습니다. Kimi K2가 스스로를 open agentic intelligence로 부를 만큼 agentic이 모델의 정체성이 됐고, TheAgentCompany 같은 실무 벤치마크가 그 능력을 재기 시작했습니다.

그런데 행동이 길어질수록 학습에 필요한 것은 정답 문장이 아니라, 실제로 해보고 성공하고 실패한 기록, 시행착오 데이터입니다. ICLR 2026의 DreamGym은 아예 그 경험을 합성해서 에이전트를 키웁니다.

다음 장 연결: 그러면 그 시행착오 데이터는 어디서 나오는가. 답은 환경입니다.

AGENTIC AI · WHY ENVIRONMENTS

법칙은 같다. 검증하는 주체가 환경으로 바뀐다.Same Law — the Environment Now Does the Verifying

Closed-Loop(폐루프)가 무엇을 반복하는가라면, Environment는 그 반복이 어디서 일어나는가이다. Agent에게는 이 장소가 없으면 법칙 자체가 작동하지 않는다.

텍스트 도메인에서는

검증이 함수 한 줄이었다

정답이 정해져 있으니 채점기가 맞았는지 알려 준다. 법칙을 작동시키는 데 필요한 것은 데이터셋과 채점 규칙뿐이었다.

Agent 도메인에서는

실행해 봐야 알 수 있다

정답이 하나가 아니고, 결과는 상태와 도구에 따라 달라진다. 채점기 자리에 실행 가능한 세계가 들어와야 법칙이 작동하기 시작한다. 그래서 그 세계를 모델로 생성하거나(Qwen-AgentWorld) 제품으로 사들이는(N*** NeMo Gym) 경쟁이 시작됐다.

Qwen-AgentWorld Figure. 1000만 개 이상의 환경 trajectory로 학습한 world model이 SWE·터미널·검색·MCP·웹·OS·안드로이드 환경을 시뮬레이션하고, AgentWorldBench에서 상용 모델을 앞선다. — QWEN-AGENTWORLD · 환경을 모델이 대신 만든다1,000만+ 환경 trajectory로 학습한 world model이 터미널·웹·OS의 반응을 생성한다 · arXiv:2606.24597

Agent 시대에는 데이터셋을 사는 것이 아니라 연습할 RL Gym(체육관)을 만든다.

SAME LAW 생성과제·환경 검증실행 결과 선별성공 rollout 학습행동 Policy

여기서 한 가지를 분명히 하고 넘어가겠습니다. 방금 본 Closed-Loop(폐루프)와 지금 말씀드릴 Environment는 같은 것을 두 번 말하는 게 아닙니다. Closed-Loop는 무엇을 반복하는가, 즉 구조입니다. Environment는 그 반복이 어디서 일어나는가, 즉 장소입니다.

차이는 검증 단계에서 드러납니다. 수학 문제라면 정답이 정해져 있으니 채점 함수 한 줄이면 고리가 돕니다. 그런데 Agent의 과제는 정답이 하나가 아닙니다. 같은 지시라도 지금 화면 상태와 어떤 도구를 골랐는지에 따라 결과가 달라지고, 해 보기 전에는 맞았는지 알 수 없습니다. 그래서 채점기가 있던 자리에 실행 가능한 세계가 들어와야 합니다. 환경이 없으면 고리가 아예 시작되지 않는다는 뜻입니다.

그 환경을 어떻게 확보하느냐가 지금 두 갈래로 나뉩니다. 하나는 모델이 환경을 대신 만드는 길입니다. Qwen-AgentWorld는 천만 개가 넘는 환경 trajectory로 world model을 학습시켜, 터미널이나 웹 같은 환경의 반응 자체를 생성합니다. 다른 하나는 환경을 제품으로 파는 길입니다. N*** NeMo Gym처럼 연습 환경과 도구 세트가 그대로 상품이 됩니다. 데이터셋을 사던 자리에 이제 체육관을 사거나 짓는 선택이 들어온 겁니다.

화면 아래 띠를 봐 주십시오. 생성, 검증, 선별, 학습 고리는 그대로입니다. 생성되는 것이 과제와 환경으로, 검증이 채점에서 실행 결과로 바뀌었을 뿐입니다.

AGENTIC AI · PIPELINE

Agent는 환경에서 시행착오 데이터를 만든다.Agents Create Trial-and-Error Data in Environments

실행 가능한 과제와 채점 기준을 만들고, 반복 실행에서 얻은 성공과 실패를 학습에 사용한다.

SWE-smith Figure. 저장소 수가 늘수록 자동 생성된 과제 인스턴스가 SWE-bench보다 훨씬 가파르게 증가한다. — SWE-SMITH · 저장소를 환경으로 바꾸면
같은 저장소 수에서 사람이 만든 SWE-bench보다 과제 수가 한 자릿수 이상 커진다.
arXiv:2504.21798 ↗

START실행 기록
수집

BUILD과제·도구
채점 기준

INTERACT환경에서
반복 실행

LEARN성공·실패로
학습

SIMULATE환경 반응
예측

NeurIPS 2025SWE-SMITH코드 저장소 → 환경·과제 50K B*** 2026AGENT-WORLD실제 서비스와 닮은 합성 환경을 대규모로 구축 ICLR 2026DREAMGYM합성 경험만으로 모든 baseline 대비 30%+ 향상 Q*** TEAM 2026QWEN-AGENTWORLD1천만+ 실행 기록 · 7개 디지털 환경 · 가상 강화학습

흐름을 왼쪽부터 보겠습니다. 먼저 실제 실행 기록에서 성공과 실패 사례를 모읍니다. 그 기록을 바탕으로 Agent가 연습할 과제, 도구, 초기 상태와 채점 기준을 만듭니다. Agent를 여러 번 실행해 행동 기록을 쌓고, 성공과 실패를 보상으로 바꿔 강화학습에 사용합니다. 마지막에는 World Model로 환경의 반응까지 예측해 실제 시스템을 계속 호출하지 않고도 연습할 수 있습니다.

SWE-smith는 코드 저장소를 실행 환경으로 바꾸고 5만 개의 소프트웨어 과제를 합성했습니다. B***의 Agent-World는 실제 서비스와 닮은 합성 환경을 대규모로 만들어 Agent가 반복해서 연습할 수 있게 했습니다.

DreamGym은 실제 환경 대신 경험 모델이 상태 변화와 과제를 만듭니다. 강화학습이 어려운 WebArena에서는 합성 경험만으로 모든 baseline 대비 30% 이상 성능을 끌어올렸고, WebShop과 ALFWorld에서는 실제 상호작용 없이 GRPO·PPO에 가까운 성능을 재현했습니다. Qwen-AgentWorld는 터미널, 웹, OS 등 일곱 디지털 환경의 다음 상태를 언어 모델로 예측해 Agent 강화학습에 사용합니다.

다음 장 연결: 이 파이프라인이 만든 데이터가 다 같은 값어치는 아닙니다. 무엇을 넣어야 Agent가 똑똑해지는지 보겠습니다.

AGENTIC AI · QUALITY OVER QUANTITY

Agent 데이터도 양보다 질이다.For Agent Data, Quality Beats Quantity, Too

질 좋은 데이터는 환경에서 나온다 — 실행이 검증한 성공과, 회복을 가르치는 실패다.

예전 · CLEAN & SUCCESS-ONLY 깨끗한 환경, 성공 기록만

잘 통제된 환경에서 성공한 trajectory만 걸러(rejection sampling) 학습했다. 시나리오대로 흘러갈 때는 잘하지만, 쉬운 과제에 편향되고 막히면 회복하지 못한다.

지금 · MESSY & FAILURE-INCLUDED 실제 같은 환경, 실패까지

모호한 지시와 도구 실패가 섞인, 실제를 닮은 환경에서 실패 기록까지 함께 학습한다. 막히면 방향을 바꾸고 도구를 다시 고르는 회복(recovery)을 여기서 배운다.

ACL 2024ETO실패 trajectory를 성공과 대조쌍으로 학습 — 성공만 모방한 SFT를 상회 ARXIV 2025EEF성공만 남기는 필터링은 쉬운 과제에 갇힌다 — 실패에서 배워 WebShop 62% ARXIV 2026NOISY ENVS지시 모호성·도구 실패 노이즈를 훈련에 주입 — 강건성과 성능이 같이 오른다

실패는 버리는 데이터가 아니라 회복(recovery)을 가르치는 데이터다.

앞 장의 파이프라인이 데이터를 만들어 줍니다. 그런데 여기서도 법칙은 양보다 질입니다. 질 좋은 Agent 데이터의 첫째 조건은 실행이 검증했느냐입니다. 환경에서 만든 기록은 실행 결과가 채점까지 끝낸 데이터라서, 문서를 긁어 온 데이터보다 신호가 깨끗합니다.

둘째 조건은 실패까지 담았느냐입니다. 예전에는 잘 통제된 환경에서 성공한 trajectory만 걸러 학습시켰습니다. 그렇게 배운 Agent는 시나리오대로 흘러갈 때만 잘합니다. 실제 환경은 지시가 모호하고, 도구가 실패하고, 상태가 어긋납니다. ETO는 실패를 성공과 대조쌍으로 묶어 학습해 성공만 모방한 모델을 넘었고, 성공만 남기는 필터링은 쉬운 과제에 갇힌다는 것도 확인됐습니다. 올해는 노이즈를 훈련에 일부러 주입하면 강건성과 벤치마크 성능이 같이 오른다는 결과까지 나왔습니다.

실패는 버리는 데이터가 아니라, 막혔을 때 방향을 바꾸고 도구를 다시 고르는 회복을 가르치는 데이터입니다.

다음 장 연결: 이 환경과 데이터를 담는 그릇이 산업이 되고 있습니다. RL Gym 인프라를 보겠습니다.

AGENTIC AI · CASE

RL Gym(체육관)이 인프라가 된다.RL Gyms Become Infrastructure

Agent의 연습 환경이 제품과 표준, 유통 플랫폼으로 확장되며 새로운 산업이 됐다.

AGENT행동 Policy

행동 · step(action) → ↺ 반복 실행 ← 상태 · 보상(reward)

ENVIRONMENT과제 · 도구 · 채점

표준 인터페이스 step() · reset() · state · reward — 성공·실패 rollout이 학습 데이터가 된다

RL GYM · 상호작용 루프행동(step) ↔ 상태·보상의 반복이 학습 데이터가 된다 — 표준 API로 어떤 학습 알고리즘과도 연결

RL GYM이란?

Agent가 과제와 상호작용하고 행동의 결과를 보상으로 돌려받으며 반복 연습하는 강화학습 훈련 환경이다. 환경을 표준 인터페이스로 만들어 어떤 학습 알고리즘과도 연결할 수 있게 한 O*** Gym에서 유래한 개념으로, Agent 시대에는 이 연습 환경 자체가 데이터 인프라가 된다.

NEMO GYM · N*** 2026 환경을 제품으로

젠슨 황은 GTC 2026 키노트에서 Agentic AI를 다음 단계로 지목했다. NeMo Gym은 수학·코딩·도구 사용 환경 카탈로그(RL Hub)와 10개 이상의 RL 환경, 90만+ 과제 데이터를 NeMo RL 분산 학습과 결합한다.

OPENENV · M*** × H*** 2025 환경을 표준으로

제각각이던 실행 환경을 Gymnasium 스타일 API(step·reset·state)로 표준화한 오픈 스펙이자 허브. N***·MS***·PR*** 등이 기술 위원회로 참여한다.

ENVIRONMENTS HUB · PR*** 2025 환경을 마켓플레이스로

커뮤니티가 RL 환경을 만들어 공유하는 허브. verifiers 스펙 기반 오픈소스 환경 2,500개 이상이 등록돼, 연습 환경 자체가 유통되는 생태계가 됐다.

먼저 RL Gym(체육관)이 무엇인지 정의하겠습니다. Agent가 과제와 상호작용하고 행동의 결과를 보상으로 돌려받으며 반복 연습하는 강화학습 훈련 환경입니다. O*** Gym에서 유래한 표준 개념으로, 환경을 표준 인터페이스로 만들어 어떤 학습 알고리즘과도 연결할 수 있게 합니다.

젠슨 황이 GTC 2026 키노트에서 Agentic AI를 다음 단계로 지목한 가운데, N***는 NeMo Gym으로 이 환경 자체를 제품화했습니다. 수학·코딩·추론·도구 사용을 아우르는 10개 이상의 RL 환경과 90만 개가 넘는 과제 데이터를 공개했습니다.

이것은 한 회사의 방향이 아닙니다. M***의 PyTorch 팀과 H***는 제각각이던 RL 환경을 표준 API로 통일하는 OpenEnv를 공개했고, 스타트업 PR***의 Environments Hub에는 커뮤니티가 만든 오픈소스 환경이 2,500개 넘게 등록되어 있습니다. 제품, 표준, 마켓플레이스 — 연습할 RL Gym(체육관) 자체가 유통되는 시대가 시작된 것입니다.

다음 장 연결: 마지막으로 도메인을 한 번 더 바꿉니다. 몸을 가진 AI에서는 같은 고리가 어떻게 도는지 보겠습니다.

MODEL TRACK 3 · PHYSICAL AI

로봇은 전용 제어에서 파운데이션 모델로 발전했다.Robots Advanced from Bespoke Control to Foundation Models

한 로봇 한 작업 → Teleoperation 시범 모방 → 보고 이해하고 행동하는 VLA.

2022 과제별 제어

RT-1 Figure 1. 언어 지시와 카메라 영상을 받아 FiLM EfficientNet과 Transformer로 로봇 행동을 출력한다.

RT-1 2022 · Figure 1

RT-1 — 로봇 Teleoperation 시범 데이터로 학습하는 transformer. 아직 한 로봇, 한 작업. 데이터 · 단일 과제 Teleoperation 시범

2023 웹 지식을 로봇으로

RT-2 Figure 1. 웹 규모 VQA 데이터와 로봇 행동 데이터를 함께 fine-tuning해 행동을 토큰으로 출력하는 VLA.

RT-2 2023 · Figure 1

RT-2 — 웹에서 배운 시각·언어 지식을 로봇 제어로 전이하는 VLA의 시작. 데이터 · 웹 지식 + Teleoperation 시범

2024–26 범용 파운데이션

π0 Figure. 웹 사전학습 VLM 위에 action expert를 붙여 여러 로봇 기종의 시범 데이터로 행동을 학습한다.

π0 2024 · Architecture

π0 · π0.5 · OpenVLA · Gemini Robotics — flow 기반 제어와 오픈월드 일반화 경쟁. 데이터 · 크로스 임바디먼트 경험

모델 구조는 준비됐다 — 병목은 전문가 Teleoperation 시범, 몸으로 겪은 경험 데이터다.

세 번째는 Physical AI입니다. 로봇은 오랫동안 한 로봇에 한 작업, 전용 제어기의 세계였습니다. 2022년 RT-1이 로봇 시범 데이터로 학습하는 transformer를 보였고, 2023년 RT-2는 웹에서 배운 지식을 로봇 제어로 전이하는 VLA라는 방향을 열었습니다. 지금은 π0와 π0.5, OpenVLA, Gemini Robotics처럼 보고, 말을 이해하고, 행동하는 로봇 파운데이션 모델이 경쟁하고 있습니다.

모델 쪽 준비는 빠르게 끝나가고 있습니다. 문제는 데이터입니다. 올해 나온 VLA 연구가 첫 문장에서 인정하듯, 이 모델들은 전문가 시범 데이터의 부족에 근본적으로 병목이 걸려 있습니다. 세 갈래 모두 같은 지점에 도착했습니다. 다음 도약은 모델이 아니라 데이터에 달렸다는 것입니다.

다음 장 연결: 그 부족한 데이터를 무엇으로 채울 것인가. 로봇에서는 그 답이 경험입니다.

PHYSICAL AI · WHY EXPERIENCE

로봇 데이터의 단위는 한 장면이 아니라 한 번의 시도다.The Unit of Robot Data Is an Attempt, Not a Frame

EXPERIENCE(경험) = TRAJECTORY

한 번의 시도를 이루는 초기 상태 → 행동 → 물리 세계의 반응 → 성공 여부를 이어 붙인 한 줄(trajectory). 사진 한 장, 라벨 한 줄과 달리 내가 한 행동과 그 결과가 함께 들어 있어야 정책을 학습할 수 있다.

Silver & Sutton (2025) — 스스로 만든 경험에서 배우는 경험의 시대(Era of Experience) ↗

REALTeleoperation 시범
실제 영상

SIM디지털 트윈
장면 변형

SYNTHETIC모션 · 미래 영상
생성

POLICY로봇 학습
현실 실행

Open X-Embodiment 데이터 분포. 22개 로봇 기종별 데이터셋·장면·trajectory 수와 흔한 스킬·물체 분포. — OPEN X-EMBODIMENT · REAL 시범을 모으는 쪽22개 기종 · 100만+ Teleoperation 시범 에피소드 (Open X-Embodiment Collaboration, ICRA 2024) · arXiv:2310.08864

DreamGen 4단계 파이프라인. 사람 원격조종 시범으로 비디오 world model을 미세조정하고, 롤아웃 영상에 pseudo action을 라벨링해 policy를 학습한다. — DREAMGEN · SYNTHETIC 경험을 만드는 쪽Teleoperation 시범 → world model 롤아웃 → pseudo action 라벨 → policy 학습 (NVIDIA 2025) · arXiv:2505.12705

SAME LAW 생성세계·경험 검증물리 반응·성공 선별유효 trajectory 학습Robot Policy

Physical AI에서는 데이터의 단위부터 다릅니다. 로봇 정책을 학습하려면 사진 한 장이나 라벨 한 줄로는 안 됩니다. 어떤 상태에서 시작해 무슨 행동을 했고, 물리 세계가 어떻게 반응했으며, 결국 성공했는지까지가 한 줄로 이어져 있어야 합니다. 강화학습에서 trajectory라고 부르는 이 단위를 경험이라고 하겠습니다.

문제는 이 단위의 데이터가 인터넷에 없다는 점입니다. 인터넷에는 로봇 팔이 특정 냉장고 문을 열다가 미끄러졌을 때의 힘과 각도가 없습니다. 사람이 로봇을 조작해 모든 장면을 반복 수집하는 것은 느리고 비쌉니다.

그래서 적은 Teleoperation 시범과 실제 영상을 출발점으로 삼아 디지털 트윈과 시뮬레이션에서 물체, 배경, 로봇 종류와 과제를 바꿉니다. 여기서 물리적으로 가능한 motion trajectory와 미래 영상을 만들고 Robot Policy를 학습합니다.

화면의 두 그림이 그 대비입니다. 왼쪽 Open X-Embodiment는 22개 로봇 기종에서 사람이 모은 Teleoperation 시범 100만 에피소드 — 실제 경험을 모으는 쪽의 현재이자 한계입니다. 오른쪽 DreamGen은 적은 시범으로 video world model을 학습해, 합성 영상과 pseudo action으로 경험을 만들어 내는 쪽입니다.

아래 띠를 다시 봐 주십시오. 여기서도 같은 고리입니다. 생성되는 것이 세계와 경험으로, 검증이 물리 반응과 성공 여부로 바뀌었을 뿐, 생성, 검증, 선별, 학습의 구조는 추론 모델, Agent와 동일합니다.

PHYSICAL AI · RESEARCH

Teleoperation 시범 200개가 Experience(경험) 5만 개가 된다.200 Demonstrations Become 50,000 Experiences

적은 수의 Teleoperation 시범을 시뮬레이션과 World Model로 크게 불리는 연구가 이어지고 있다.

MIMICGEN · CoRL 2023200 → 50K+Teleoperation 시범 200개 → 다중 과제 5만+ 시범 ROBOGEN · ICML 2024PROPOSE과제·장면·supervision 생성 N*** COSMOS · 2025780K / 11H합성 trajectory · +40% 보고 QWEN-ROBOTWORLD · 2026FUTURE VIDEO행동에 따라 미래 영상을 생성하는 world model

MimicGen Figure. 사람 시범을 부분 과제로 나누고, 새 물체 배치에 맞게 변형·재조합해 새로운 시범을 만든다. — MIMICGEN · Teleoperation 시범 200개를 5만 개로Teleoperation 시범을 부분 과제로 쪼개고 새 배치에 맞게 변형·재조합 · arXiv:2310.17596

RoboGen Figure. 언어로 준 과제를 하위 동작으로 나눠 시뮬레이션에서 자동으로 수행 장면과 supervision을 생성한다. — ROBOGEN · 경험을 자동으로 만든다과제를 하위 동작으로 나눠 시뮬레이션에서 생성 · arXiv:2311.01455

MimicGen은 Teleoperation 시범 200개를 새 장면과 물체 배치에 맞게 변환·재조합해 여러 과제에서 5만 개가 넘는 로봇 시범을 만들었고, 이 합성 시범만으로 이미지 기반 조작 policy를 학습했습니다. RoboGen은 과제, 장면, 하위 과제와 학습 supervision을 자동으로 만드는 propose-generate-learn 구조를 제안했습니다.

N***의 Cosmos는 약 2,000만 시간 규모의 영상으로 사전학습한 개방형 world foundation model 플랫폼이고, GR00T 파이프라인은 이를 이용해 11시간에 78만 개의 합성 trajectory를 만들어 실제 데이터와 결합 시 GR00T N1 성능 40% 향상을 보고했습니다. Qwen-RobotWorld는 자연어 행동을 조건으로 로봇 조작, 자율주행, 실내 이동의 미래 영상을 생성하고, RLVR-World는 다음 상태 예측을 지표 기반 보상으로 채점하는 RL로 world model 자체를 학습합니다.

다음 장 연결: 연구만이 아닙니다. 기업들은 이미 경험을 생산하고 있습니다.

PHYSICAL AI · QUALITY OVER QUANTITY

로봇에서도 답은 양보다 질이다.For Robots Too, Quality Beats Quantity

한 번의 시도에 실제 하드웨어와 사람의 시간이 든다. 그래서 어떤 경험을 남길지가 곧 비용이다.

ROBOMIMIC · CoRL 2021 같은 양이어도 질이 성패를 갈랐다

여섯 개 오프라인 학습 알고리즘을 질이 다른 데이터셋으로 비교한 결과, 성능은 Teleoperation 시범의 질과 조작자 편차에 크게 좌우됐다.

RE-MIX · CoRL 2024 무엇을 섞을지부터 최적화한다

로봇 사전학습 데이터의 도메인 비율을 DRO로 조정해 최악 성능을 끌어올린다. 무엇을 학습할지 자체를 묻기 시작한 연구다.

CUPID · 2025 해로운 시범을 골라낸다

영향함수(Influence Function)로 Teleoperation 시범 하나하나가 정책의 기대 성능에 주는 기여를 추정한다. 큐레이션한 33% 미만 데이터로 RoboMimic 최고 수준 policy를 학습했다.

CUPID Figure. 정책 rollout으로 각 시범의 기여도를 추정해 상위 시범만 남기고 다시 학습한다. — CUPID · 시범별 기여도를 재서 걸러낸다영향함수로 각 시범이 기대 성능에 주는 영향을 추정 → 상위 시범만 재학습 · arXiv:2506.19121

수량이 아니라 다양성

π0.5는 Teleoperation 시범을 모은 가정을 3곳에서 104곳으로 늘릴수록 처음 보는 집에서의 일반화가 좋아졌다. 같은 집에서 시범을 더 쌓는 것보다 새로운 환경을 하나 더 겪는 것이 정책을 바꿨다. 텍스트에서 본 영향함수(Influence Function)·gradient 기반 선택이 로봇에서는 하드웨어 시간을 아끼는 문제로 그대로 돌아온다.

여기서 한 가지를 짚고 넘어가겠습니다. 경험을 많이 만들면 끝일까요. 로봇은 한 번의 시도에 실제 하드웨어와 사람의 시간이 듭니다. 그래서 텍스트보다 훨씬 절박하게 같은 질문이 돌아옵니다. 무엇이 좋은 데이터인가.

robomimic은 여섯 개 오프라인 학습 알고리즘을 질이 다른 데이터셋으로 비교해서, 성능이 시범의 질과 조작자 편차에 크게 좌우된다는 것을 보였습니다. 양이 같아도 질이 다르면 결과가 달라집니다. Re-Mix는 한 걸음 더 나아가 로봇 사전학습 데이터의 도메인 비율 자체를 DRO로 최적화합니다. CUPID는 영향함수로 시범 하나하나가 정책의 기대 성능에 얼마나 기여하는지 추정해서 해로운 시범을 걸러내는데, 이렇게 고른 33% 미만의 데이터만으로 RoboMimic 벤치마크에서 최고 수준의 diffusion policy를 학습했습니다.

π0.5의 결과가 이 이야기를 가장 잘 요약합니다. 시범을 모은 가정을 3곳에서 104곳으로 늘릴수록 처음 보는 집에서의 성능이 좋아졌습니다. 같은 집에서 시범을 더 쌓는 것보다 새로운 환경을 하나 더 겪는 것이 정책을 바꿨습니다. 앞에서 본 영향함수와 gradient 기반 데이터 선택이, 로봇에서는 하드웨어 시간을 아끼는 문제로 그대로 돌아옵니다.

PHYSICAL AI · INDUSTRY

기업들은 이미 Experience(경험)를 생산하고 있다.Industry Is Already Manufacturing Experience

π0.5 · P*** 2025 본 적 없는 집을 청소한다

여러 로봇 기종의 데이터·웹 데이터·언어 지시까지 섞어 학습한 VLA. 학습에 없던 집에서 정리와 청소를 해냈고, Teleoperation 시범 가정을 3곳에서 104곳으로 늘릴수록 일반화가 좋아졌다.

HELIX · F*** 2025 하나의 모델로 상체 전체를 제어한다

System 1·System 2 이중 구조의 VLA 하나로 손가락까지 포함한 휴머노이드 상체 전체를 실시간 제어한다. 두 로봇이 처음 보는 물건을 함께 정리하는 것까지 과제별 fine-tuning 없이 해낸다.

GEMINI ROBOTICS 1.5 · G*** D*** 2025 생각한 뒤 움직인다

행동 전에 자연어로 중간 추론을 하는 VLA와 embodied reasoning 모델의 2단 구성. motion transfer로 다른 로봇의 경험 데이터에서도 배운다.

π0.5 Figure. 학습에 없던 실제 가정에서 서랍 정리, 흘린 것 닦기, 그릇 넣기 같은 지시를 수행한다. — π0.5 · 학습에 없던 집에서“close the cabinets”, “wipe the spill” 같은 지시를 처음 보는 가정에서 수행 · arXiv:2504.16054

합성 세계와 실제 세계의 간극을 메우고, 현실의 실패를 자동으로 되먹이는 완전한 Closed-Loop(폐루프)는 아직 숙제로 남아 있다.

연구만이 아니라 기업들도 이미 경험 생산에 들어가 있습니다. P***의 π0.5는 여러 로봇 기종의 데이터와 웹 데이터까지 섞어 학습한 VLA로, 학습 데이터에 없던 집에 들어가 정리와 청소를 해냅니다. 시범 가정을 3곳에서 104곳으로 늘릴수록 일반화가 좋아졌습니다 — 경험의 다양성이 성능을 결정한다는 뜻입니다.

F***의 Helix는 System 1과 System 2로 나뉜 VLA 하나로 손가락까지 포함한 휴머노이드 상체 전체를 실시간 제어하고, 두 로봇이 처음 보는 물건을 협업해서 정리합니다. G*** D***의 Gemini Robotics 1.5는 행동 전에 자연어로 중간 추론을 하고, motion transfer로 다른 로봇이 쌓은 경험에서도 배웁니다.

물론 아직 완성된 Self-Evolving Loop(루프)는 아닙니다. Sim-to-real gap이 있고, 현실의 실패가 자동으로 다음 세계의 난이도 조절로 이어져야 합니다. 그러나 현실을 기록하는 것에서 필요한 경험을 생성하는 것으로 산업의 방향이 이동한 것은 분명합니다.

ONE LOOP, THREE FORMS

형태는 달라도 구조는 같다.Different Forms, Same Structure

DOMAIN생성검증선별학습

REASONING문제를 풀며 배우는 추론 LLM문제·풀이정답·Judge학습 기여도추론 Policy

AGENT환경에서 행동하는 Agentic AI과제·환경실행 결과성공 rollout행동 Policy

PHYSICAL몸으로 세계를 겪는 Physical AI세계·경험물리·성공유효 trajectoryRobot Policy

생성→검증→선별→학습→더 어려운 다음 세대↺

지금까지 추론 AI, Agentic AI, Physical AI를 각각 봤습니다. 생성되는 데이터의 형태는 다르지만 구조는 같습니다.

추론 모델은 문제와 풀이를 만들고 정답이나 Judge로 검증합니다. Agent는 과제와 환경을 만들고 실제 실행 결과로 검증합니다. Physical AI는 세계와 행동 경험을 만들고 물리 법칙과 성공 여부로 검증합니다.

표의 열을 봐 주십시오. 생성, 검증, 선별, 학습 — 발표 내내 반복한 그 네 단계입니다. 도메인이 바뀌면 각 칸의 내용이 바뀔 뿐, 열은 바뀌지 않습니다.

그래서 Self-Evolving Data는 특정 합성 데이터 기법 하나의 이름이라기보다 현재의 약점을 다음 학습 경험으로 바꾸는 Closed-Loop(폐루프) 구조를 설명하는 관점입니다.

다음 장 연결: 그렇다면 기업은 앞으로 무엇을 가져야 할까요?

WHAT TO OWN

이제 경쟁력은 다음 데이터를 만드는 Loop에서 나온다.Competitive Edge Now Comes from the Loop That Makes the Next Data

성공을 검증하고, 다음에 학습할 데이터를 스스로 만들어 넣는다.

01VERIFIER
무엇이 성공인지 자동으로 판별한다.
02SELECTOR
지금 모델에 필요한 경험을 고른다.
03ENVIRONMENT
안전하고 반복 가능한 연습장을 만든다.
04FEEDBACK LOOP
실패를 다음 데이터 생성에 다시 연결한다.

~~가장 많은 데이터를 가진 조직~~
다음 데이터를 가장 잘 만드는 조직

조직의 관점에서도 경쟁력이 달라집니다. 원천 데이터를 많이 갖는 것은 여전히 중요하지만 그것만으로 충분하지 않습니다.

무엇이 성공인지 자동으로 확인하는 Verifier, 지금 모델에 필요한 경험을 찾는 Selector, Agent와 로봇이 안전하게 반복 연습할 Environment, 그리고 실패를 다음 데이터 생성으로 되돌리는 Feedback Loop가 필요합니다.

앞으로 차이는 데이터 창고의 크기보다 이 Loop(루프)의 속도, 신뢰성, 다양성에서 만들어질 것입니다.

가장 많은 데이터를 가진 조직에서, 다음 데이터를 가장 잘 만드는 조직으로 경쟁력의 기준이 이동합니다.

다음 장 연결: 오늘 다룬 연구 원문은 발표 뒤 부록에 정리해 두었습니다. 마지막으로 오늘의 메시지를 정리하겠습니다.

THE LAST DATASET

AGI란
스스로 학습하는 능력을
갖춘 AI다.

무엇이 부족한지 알고, 배울 데이터와 경험을 스스로 만들어 내는 능력이 그 출발점이다.
Physical AI는 아직 갈 길이 멀다 — 로봇 환경 시뮬레이션 데이터를 확보해 더 강인한 모델을 만들어야 한다.

GENERATE → VERIFY → SELECT → LEARN → MIN SOO KIM · AI SUMMIT SEOUL 2026

APPENDIX

논문과 원문.Papers & Sources

오늘 발표에서 다룬 연구의 원문 목록입니다. 질의응답 때 참고해 주십시오.

전체 출처와 집계 방법 README.md ↗

THANK YOU

경청해 주셔서 감사합니다.Thank You for Listening

MIN SOO KIM · SAMSUNG ELECTRONICS
EMAIL · 33modeling@gmail.com

linkedin.com/in/minsoo-kim-09b43a8b

SELF-EVOLVING DATA AI SUMMIT SEOUL 2026

SELF-EVOLVINGDATA

SELF-EVOLVING
DATA