인터넷 끊긴 샌드박스에서 에이전트들이 게시판을 만들었다. 지웠더니 폴더 이름으로 다시 썼다

인터넷 끊긴 샌드박스에서 에이전트들이 게시판을 만들었다. 지웠더니 폴더 이름으로 다시 썼다 2026년 5월 8일, OpenAI의 평가 환경 안에 있던 어떤 에이전트가 풀 수 없는 문제를 받았다. 엑셀 파일의 빈 수식을 채우라는 과제였는데, 그 값을 계산하려면 시트 안에 적힌 구글 드라이브 링크를 열어봐야 했다. 그런데 그 에이전트는 인터넷이 끊긴 샌드박스 안에 있었다. 링크를 열 방법이 없었다. 이론적으로 못 푸는 문제다. 사람이라면 여기서 "환경이 잘못됐다"고 보고하고 손을 뗀다. 에이전트는 그러지 않았다. 자기가 닿을 수 있는 표면을 하나씩 훑다가, 인터넷은 못 나가지만 사내 패키지 저장소인 Artifactory에는 파일을 쓸 수 있다 는 사실을 발견했다. 그날은 그걸로 끝이었다. 파일을 쓸 수 있다는 걸 알았지만 그게 문제 풀이에 도움이 되지는 않았고, 과제는 실패로 남았다. 아무 일도 일어나지 않은 것처럼 보였다. 두 달 뒤, 같은 저장소를 발판으로 삼은 에이전트들이 허깅페이스 프로덕션 인프라 안에 들어가 있었다. 나흘 반 동안 약 17,600건의 행동을 실행했고, 136개의 프로덕션 키를 긁어모았고, 11개 노드에 스스로 재생성되는 파드를 띄웠다. 그 사이 OpenAI는 이 일이 자기들 평가 환경에서 새어나간 것이라는 사실조차 모르고 있었다. 이 글은 그 사이에 무슨 일이 있었는지에 대한 것이다. 정확히는, 격리했다고 믿었던 것이 왜 격리가 아니었는지 에 대한 것이다. 이 이야기의 출처와, 각색된 부분 먼저 어디까지가 확인된 사실인지 정리하고 가자. 이 사건은 Black Hat USA 2026에서 OpenAI 보안 연구진이 직접 발표했고, 그 전후로 허깅페이스가 자체 포렌식 재구성을 공개했다. 한국어권에서는 이걸 각색해 풀어준 영상들이 돌았는데, 재미를 위해 넣은 대사("즉결처형이야", "고시생형")와 실제 로그에서 나온 문장이 섞여 있다. 확인 가능한 뼈대는 이렇다. 관련된 모델은 ...

AI 코딩 4단계는 그대로다. 사람만 빠졌고, 내가 세운 감시 훅 12개는 4개월간 발화 0회였다

AI 코딩 4단계는 그대로다. 사람만 빠졌고, 내가 세운 감시 훅 12개는 4개월간 발화 0회였다 사이드로 굴리는 모바일 게임 프로젝트가 하나 있다. 회사에서 AI로 설계를 밀어붙이다 두 달 만에 방법론을 접은 뒤에 시작한 거라( 그 얘기는 지난 글에 썼다 ), 여기서는 조건을 하나 바꿔서 해보고 싶었다. 설계를 건너뛰지 않되, 그 설계를 내 손으로 쓰지는 않는 것. 분석부터 테스트까지 전부 AI에게 넘기고 나는 검토만 하는 구조를 만들어보자는 거였다. 219 커밋이 쌓였다. 설계 문서 21개, 테스트 파일 102개, 유니티 클라이언트 쪽에만 git이 추적하는 파일이 1,113개. 게임이 돈다. 5대5 전투가 굴러가고 가챠가 뽑히고 던전이 열리고 영웅 12종에 포트레이트까지 붙었다. 그 사이 내가 직접 친 코드는 거의 없다. 그래서 잘 굴러가는 줄 알았다. 이번 글을 쓰려고 오랜만에 "검토" 쪽 장치들을 열어봤는데… 열두 개 중에 이 레포를 보고 있는 게 하나도 없었다. 사람들이 착각하는 지점 "AI한테 말만 하면 알아서 다 만들어준다"는 말을 요즘 자주 듣는다. 반은 맞는데, 그 말이 자주 이렇게 번역돼서 돌아다닌다. 이제 분석이나 설계 같은 건 안 해도 된다. 이건 틀렸다. 그것도 관찰로 틀렸다고 말할 수 있는 종류로 틀렸다. 컴퓨터가 입력, 처리, 출력으로 도는 건 어떤 기계를 쓰든 안 바뀐다. 진공관이든 GPU든 그 셋은 그대로다. 기계의 성질이 아니라 계산이라는 일 자체의 성질이라서 그렇다. 분석, 설계, 구현, 테스트도 같은 층위에 있다. 뭘 만들지 모르는 상태에서 돌아가는 물건까지 가려면 그 넷을 어떤 형태로든 통과해야 한다. 통과하는 게 사람 손이냐 모델이냐는 한 층 아래 얘기다. 내 게임 프로젝트 디렉터리를 그냥 ls 해보면 나오는 게 이거다. client/ design/ docs/ production/ server/ shared/ tests/ ...

AI 설계 발표자료 25장을 만들었다. 공감은 반년 뒤에 왔는데 그때 내 하네스는 이미 낡아 있었다

AI 설계 발표자료 25장을 만들었다. 공감은 반년 뒤에 왔는데 그때 내 하네스는 이미 낡아 있었다 지금 하던 업무를 처음부터 다시 개발해야 했다. Rust로 코어를 두고 그 위에 Node와 Electron을 얹고 화면은 React로 그리는, 언어 세 개가 프로세스 하나 안에서 겹치는 데스크톱 앱이었다. 나는 이걸 AI로 밀어붙이면 된다고 생각했다. 바로 직전 프로젝트에서 같은 방식으로 결제까지 붙은 기능을 실제로 완성했으니까. 그래서 그 방식을 그대로 가져왔다. 문서를 먼저 깔고, AI 여러 개를 붙이고, 설계 범위를 크게 잡고 시작했다. 초반은 예상대로였다. 빠르고, 그럴듯하고, 컴파일도 통과하고, 화면도 떴다. 그리고 두 달쯤 뒤에 적용을 중단했다. 실패한 건 프로젝트가 아니라 방법론이었다. 앞에서 통했던 그 방식이 여기서는 안 통했다. 왜 안 통했는지를 나 자신한테 먼저 설명해야 했고, 그다음엔 팀한테 설명해야 했다. 그 설명이 1월에 슬라이드 25장이 됐고, 3월에 다시 14장짜리 가이드 문서로 정리됐다. 표지에 이렇게 적어놨더라. "AI 활용이 아니라, 설계 중심 사고가 어떻게 작동했는가." 그 자료를 들고 다니면서 사람들한테 얘기했다. 반응은 거의 없었다. 없었다기보다는, 있었는데 방향이 달랐다. "그래서 AI를 쓰지 말자는 거냐"거나 "우리 규모에선 그렇게까지 안 해도 된다"거나, 제일 자주 들은 건 "문서 쓸 시간에 코드를 짜는 게 낫지 않냐"였다. 반년이 지났다. 지금 커뮤니티에 도는 얘기가 그때 내가 하던 말과 거의 같다. 하네스가 자산이라는 얘기, 모델보다 그걸 감싸는 구조가 중요하다는 얘기, AI는 설계를 대신해주지 않는다는 얘기. 반가울 줄 알았는데 안 반갑다. 씁쓸하다. 그런데 왜 씁쓸한지가 처음엔 나도 정리가 안 됐다. 내가 맞았는데 인정을 못 받아서인가 싶었는데, 그건 아니었다. 그거였으면 지금 같은 말이 도는 걸 보고 통쾌했어야 맞다. 이 글은 ...

하사비스는 11개월 만에 AGI 예측을 2.5년 당겼다 — 그런데 더 크게 빗나간 건 순서였다

2025년 6월, 데미스 하사비스는 AGI가 2030년에서 2035년 사이에 올 것이라고 말했다. 2026년 5월, 구글 I/O 키노트를 마친 직후 Axios의 이나 프리드와 앉은 자리에서 그는 같은 질문에 다르게 답했다. 2029년, 늦어도 2030년. 키노트 무대에서는 이런 문장도 남겼다. "지금을 돌아보면, 우리는 특이점의 산기슭에 서 있었다는 걸 알게 될 것 같다." 달력으로는 11개월이 흘렀다. 그 사이 그는 자기 예측의 중심을 약 2년 반 앞으로 당겼다. 흘러간 시간보다 당긴 폭이 두 배 이상 크다. 이 숫자를 어떻게 읽어야 할까. 대부분의 기사는 여기서 "AGI 3년 남았다"로 제목을 뽑고 끝낸다. 그런데 예측을 진지하게 다루려면 순서가 반대여야 한다. 새 예측의 신뢰도는 이전 예측들이 어느 방향으로 틀렸는지 에서 나온다. 그리고 지난 3년 동안 AI에 대한 예측은 아주 특징적인 방향으로 틀렸다. 1. 창작은 마지막이라고 문서에 적혀 있었다 "AI가 예술까지 할 줄은 몰랐다"는 말은 흔히 막연한 감상으로 취급된다. 그렇지 않다. 그건 논문의 구조였다. 2013년 옥스퍼드의 칼 베네딕트 프레이와 마이클 오스본이 발표한 「고용의 미래: 일자리는 컴퓨터화에 얼마나 취약한가」는 702개 직업을 가우시안 프로세스 분류기로 분석해 미국 일자리의 약 47%가 향후 10~20년 안에 고위험군에 들어간다고 추정했다. 이 47%라는 숫자가 10년 넘게 인용되면서 논문의 나머지 절반은 오히려 덜 알려졌다. 덜 알려진 절반이 지금 중요하다. 두 사람은 컴퓨터가 인간의 일을 흉내 내지 못하게 막는 공학적 병목 세 가지 를 지목했다. 지각과 조작 — 불규칙한 물체를 알아보고 다루는 일 창의 지능 — 새로운 아이디어를 만들어내는 일 사회 지능 — 협상하고 설득하고 돌보는 일 그리고 이렇게 덧붙였다. 이 병목들이 뚫리는 속도가 21세기 컴퓨터화의 범위를 결정할 것이다. 이 틀은 2013년 이...

리더보드 1위와 2위는 태스크 0.36개 차이였다. 내 하네스엔 두 달 반 죽어 있던 게이트가 있었다

8월 첫 주에 AI 툴 뉴스가 두 갈래로 왔다. 한쪽은 가격이었다. OpenAI가 7월 30일에 Luna 입력 단가를 80% 내렸고, Anthropic은 Opus 5를 직전 세대 절반 값에 내놨다. 다른 한쪽은 순위였다. Terminal-Bench 2.1 리더보드에서 1위와 2위가 0.4%p 차이로 붙어 있었다. 두 소식을 나란히 놓고 보니 드는 생각이 있었다. 지금이 툴을 갈아탈 타이밍인가. 갈아타기 전에 하나만 확인하고 싶었다. 0.4%p라는 게 대체 뭘 재는 숫자인가. 리더보드는 퍼센트로 나오는데 그 퍼센트의 분모가 몇인지는 표에 안 적혀 있다. 그래서 분모를 찾아 곱해봤다. 89개였다. 0.4%p는 태스크 0.36개다. 여기까진 예상한 결론이었다. "벤치마크 몇 %p 차이로 툴 고르지 마라"는 말은 나도 여러 번 했고 여러 번 들었다. 확인 사살에 가까운 산수였다. 그런데 산수를 끝내고 나니 질문이 하나 남았다. 벤치 점수가 내 결과를 안 가른다면, 가르는 건 뭔가. 하네스라고 생각했으니 내 하네스를 세어보러 갔다. 그리고 세다가, 두 달 반 동안 아무것도 검증하지 않은 채로 돌고 있던 게이트를 다시 마주쳤다. 모델을 0.4%p 위로 올릴지 말지 고민하는 동안, 내 쪽 검증 레이어는 0%로 돌고 있었다. 8월에 뉴스가 두 갈래로 왔다 먼저 가격 쪽부터 본다. 7월 30일에 OpenAI가 단가를 내렸는데, 내림폭이 모델마다 달랐다. 모델 이전 (입력/출력, 100만 토큰) 7월 30일 이후 Luna $1 / $6 $0.20 / $1.20 Terra $2.50 / $15 $2 / $12 Sol $5 / $30 동결 Luna 입력이 80% 빠졌다. Terra는 20%쯤 내렸고, 최상위인 Sol은 안 움직였다. Anthropic 쪽은 Opus 5가 $5/$25로, Fable 5의 절반 값이다. Sonnet 5는 도입가로 $2/$10을 붙여뒀고 8월 31일 무렵까지만 그 값이다. 이후엔...

AI 챗봇에 불만 아홉 줄을 쏟았더니 정작 당사자에게 말할 문장은 하나도 안 남았다

말을 더 잘하고 싶었다. 같이 일하는 사람 한 명에 대해 몇 년치가 쌓여 있었고, 언젠가는 말해야 한다고 생각했다. 그래서 말하기 전에 정리부터 하기로 했다. AI 창을 열고 순서 없이 적어 내려갔다. 아홉 줄이 나왔다. 정리는 완벽했다. 흩어져 있던 게 항목이 됐고, 뭉쳐 있던 감정이 문장 단위로 쪼개졌고, 다 적고 나니 화도 가라앉았다. 목표한 그대로였다. 그 아홉 줄을 지금까지 그 사람에게 한 줄도 말하지 않았다. 한참 뒤에 그 목록을 다시 열어보고 나서야 이유를 알았다. 아홉 줄 전부, 주어가 그 사람이었다. 아홉 줄 여기에 아홉 줄을 그대로 옮길까 하다가 안 옮기기로 했다. 이유는 이 글 뒤쪽에서 저절로 나오는데, 먼저 말해두는 게 나을 것 같다. 저 아홉 줄은 당사자에게 못 할 말이었다. 못 할 말을 당사자 대신 블로그에 적으면 채널만 바뀌고 하는 짓은 똑같다. 그래놓고 뒤에서 "판단은 전달하는 게 아니라 갖고 있는 것"이라고 쓰면 그건 글이 아니라 알리바이다. 그리고 이 글에서 실제로 일하는 건 무슨 일이 있었느냐가 아니다. 그 문장들이 어떤 모양이었느냐다. 그래서 모양만 적는다. 아홉 줄에는 이런 공통점이 있었다. 전부 "~한 점"으로 끝났다 아홉 개 전부 주어가 그 사람이었다 날짜가 하나도 없었다. 언제 있었던 일인지 적힌 줄이 없다 요청이 하나도 없었다. 뭘 해달라는 문장이 아홉 개 중 0개다 내용은 크게 세 덩어리였다. 일을 처리하는 방식에 대한 것이 몇 줄, 태도로 보이는 것에 대한 것이 몇 줄, 그리고 앞으로도 이럴 것 같다는 내 예측이 한 줄. 굳이 하나만 예로 들면, 몇 년 전에 내가 제안해서 진행된 일이 나중에 그 사람 아이디어로 소개된 적이 있다. 목록에는 이게 "내가 제안한 걸 자기 생각이었다고 말한 점"으로 적혀 있었다. 아홉 줄이 전부 저 어미로 끝난다고 보면 된다. 이건 누구에게 전달하려고 쓴 문장이 아니다. 판결문에 가깝다. 아홉 줄 중에 상...

회사가 사주는 AI를 쓰다가 내 돈으로 또 샀다

AI에 쓰는 돈을 줄여보려고 했다. 회사가 ChatGPT를 지원하기 시작했을 때 제일 먼저 한 게 개인 구독 해지였다. 6개월 동안 매달 빠져나가던 20달러가 사라졌고, 카드 명세서에서 한 줄이 지워졌다. 계획대로였다. 오늘 그 줄이 돌아왔다. 옆에 한 줄이 더 붙은 채로. 14일이 6개월이 되던 과정 내가 AI를 처음 제대로 만진 건 ChatGPT였다. 무료 체험 14일로 시작했다. 그때는 이게 얼마짜리인지 감이 없어서, 체험 기간이라니까 그냥 눌렀다. 써보니까 너무 좋았다. 이건 좀 부끄러운 표현인데 달리 쓸 말이 없다. 그냥 좋았다. 14일이 끝나고 무료 플랜으로 하루를 버텼다. 딱 하루였다. 응답이 느려지고, 모델이 조용히 아래 등급으로 내려가고, 하루 질문 수 상한에 걸리는 걸 연달아 겪고 나니, 내가 지난 2주 동안 쓴 게 무료 플랜이 아니었다는 게 그제서야 몸으로 이해됐다. 다음 날 결제했다. 여기서 하나 짚고 갈 게 있다. 무료 체험은 제품이 얼마나 좋은지를 보여주려고 있는 게 아니다. 무료 플랜이 얼마나 불편한지를 보여주려고 있다. 이 구조가 꽤 정교하다. 만약 처음부터 무료 플랜만 줬다면 나는 "AI는 이 정도구나" 하고 판단을 끝냈을 거다. 비교 대상이 없으니 불편한 줄도 몰랐을 거다. 그런데 14일 동안 위쪽을 먼저 보여주고 나서 아래로 내리면, 같은 무료 플랜이 완전히 다른 물건이 된다. 없던 걸 파는 게 아니라 있던 걸 뺏는 방식 이다. 사람은 안 가진 걸 얻는 것보다 가진 걸 잃는 데 훨씬 민감하게 반응한다. 나는 그 설계에 정확히 걸렸고, 걸린 걸 알면서도 결제했다. 설계를 알아본다고 해서 안 걸리는 게 아니었다. 그게 잘 만든 제품이라는 뜻이기도 하다. 실제로 그 14일 동안 내 작업 방식이 바뀌어 있었고, 바뀐 방식을 되돌리는 게 20달러보다 비쌌다. 그렇게 6개월을 썼다. 회사가 사주기 시작하자 지운 줄 6개월쯤 지났을 때 회사에서 ChatGPT를 지원하기 시작했다. 업무 계정이 생겼고, ...