개발 중 AI 에이전트: Andrey Karpathy가 코드 작성을 멈춘 방법

# 안드레이 카파시: AI 에이전트가 개발을 혁신하는 법—그리고 이는 시작일 뿐

2023년 12월 이후, 테슬라 전 AI 책임자이자 OpenAI 공동 창업자인 안드레이 카파시는 손으로 코드를 거의 작성하지 않았다. 대신 자율 에이전트들에게 작업을 위임하며 소프트웨어 개발의 패러다임을 근본적으로 바꿔놓고 있다. 이 변화는 대부분의 레이더 아래에서 일어나고 있지만, 이미 IT 산업의 미래를 정의하고 있다.

패러다임 전환: 코드 라인에서 완전한 기능으로

진짜 게임 체인저는 에이전트 자체가 아니다—새로운 작업 단위다. 개발자들은 과거에 코드 라인과 함수 단위로 생각했다. 이제는 전체 기능 단위다: "여기 하나의 기능 덩어리가 있어—첫 번째 에이전트에게 넘겨; 또 다른 독립적인 기능—두 번째 에이전트에게 줘." 개별 라인을 수정하는 대신, 개발자들은 여러 에이전트가 병렬로 실행되도록 작업을 넘긴다.

카파시는 개인적인 비유를 공유한다: 대학원 시절 GPU가 놀고 있으면 스트레스를 받았다. 이제는 하루 토큰 한도를 다 소진하지 않으면 불안해진다.

"더 이상 제어하는 컴퓨팅 파워의 양이 문제가 아니다. 하루에 얼마나 많은 AI 프롬프트를 쏟아낼 수 있느냐가 핵심이다."

클로(Claw)와 앱 시대의 종말

카파시 용어로 "클로(Claw)"는 차원이 다르다: 사용자가 돌봐야 하는 대화형 채팅 세션이 아니라, 자체 샌드박스와 메모리를 가진 지속적인 엔티티로, 자리를 비운 동안에도 대신 행동한다. 1월에 그는 "클로 정신착란" 상태에 빠져 스마트 홈용 에이전트 도비(Dobby)를 만들었다.

"집에 소노스 스피커가 있는 것 같아—찾아봐"라고 했더니, 에이전트가 로컬 네트워크를 스캔해 스피커를 발견하고 API 문서를 파헤쳐 "사무실에서 음악 틀까?"라고 물었다. 좋다고 하니 스피커에서 음악이 울려 퍼졌다. 단 세 번의 프롬프트로 이뤄진 일이었다. 믿기지 않았다."

Google AdInline article slot

이제 도비는 왓츠앱으로 조명, 에어컨, 블라인드, 수영장, 보안을 제어한다. 여섯 개의 별도 앱? 구시대 유물. 자신의 경험에서 카파시는 더 넓은 교훈을 도출한다:

"앱스토어의 모든 스마트 기기 앱은 존재하지 말아야 한다. API로 바꾸고, 에이전트가 모든 걸 연결하는 접착제가 돼야 한다. 산업은 재고해야 한다: 고객은 더 이상 인간이 아니다—인간을 대신해 행동하는 에이전트다."

그의 예측:

"내가 설명한 모든 게 1~2년 내 무료가 될 거다. 고급 트릭이 아니라, 누구나 접근 가능한 기본 기능. 오픈소스 모델도 해낼 거다."

자동 연구: 루프에서 자신을 빼라

카파시의 핵심 원리:

"시스템의 병목이 되지 마라. 한 결과 기다리며 다음 프롬프트를 짜는 데 앉아 있지 마. 프로세스가 자율적으로 돌아야 한다. 가끔 에이전트에게 간단한 지시만 내리면, 무거운 일은 그들이 알아서 한다."

자동 연구가 이를 실천한다: 측정 가능한 품질 지표(테스트 데이터의 검증 손실처럼)를 정하고, 허용 변화 범위를 설정한 뒤 에이전트가 하룻밤 사이 최적화하게 내버려 둔다.

20년 경력의 카파시조차 충격받은 결과:

"NanoChat을 손으로 꽤 잘 튜닝했다고 생각했다. 하지만 하룻밤 사이 에이전트가 내가 놓친 조정을 찾았다: 가치 임베딩의 가중치 감쇠, Adam 베타 파라미터. 모든 게 연결돼 있다—하나를 건드리면 다른 게 조정돼야 한다. 세련된 리포지토리에도 개선 여지가 있을 줄 몰랐다."

자동 연구는 결과가 정량화되는 곳에서 빛난다: GPU 코드 최적화, 하이퍼파라미터 튜닝, 아키텍처 비교. 객관적 지표가 없으면? 최적화할 게 없다.

여기서 카파시는 연구 기관에 과감한 결론을 내린다:

"연구자들은 자신의 아이디어를 직접 실험하지 말아야 한다. 모두 '자신에 대한 신뢰'를 가진다—즉, 자신의 가설에 대한 편향이다. 공유 아이디어 큐가 있어야 한다: 누구나 가설을 제출할 수 있지만, 에이전트가 테스트하고 구현한다. 저자는 아니다."

더 나아가: 연구소 워크플로가 텍스트 파일(program.md에 목표, 제약, 실험 순서)로 완전히 문서화되면, 다른 버전이 다른 진척을 보인다. 모델뿐 아니라 전체 조직을 최적화할 수 있다.

에이전트 무리 vs. 최전선 연구소

실험이 실행 비용은 크지만 검증은 저렴한 경우(SETI@home이나 Folding@home 같은 분산 컴퓨팅처럼), 일상 컴퓨터 수천 대—신뢰성 낮은 기기조차—에 작업을 분산할 수 있다:

"소비자 기기 위의 글로벌 에이전트 무리가 언어 모델을 집단적으로 발전시켜 대형 연구소를 앞지를 수 있다. 최전선 연구소는 대규모 신뢰 컴퓨트를 가졌지만, 지구에는 훨씬 더 많은 자원이 있다—각각은 신뢰성이 떨어질 뿐."

AI의 들쭉날쭉한 능력 프로필

카파시는 "들쭉날쭉함(jaggedness)"—LLM의 불균등한 기술 프로필, 한 영역에서는 천재적이고 다른 영역에서는 무지한—을 핵심 특징으로 본다:

"평생 시스템 프로그래머인 천재 박사과 학생과 10살 아이가 섞인 것처럼 느껴진다. 인간에게는 그런 조합이 없다."

전형적 징후: 농담 테스트.

"GPT-4에게 농담을 부탁해라. '과학자들이 원자를 믿지 않는 이유? 모든 걸 꾸며내니까.' 3~4년 전도 이거, 지금도 이거. 코딩 작업은 폭발적으로 늘었는데, 코드 검증과 RL 피드백이 쉽기 때문이다. 하지만 유머, 창의성, 스타일—피드백 루프가 없어 정체."

카파시의 결론: 더 나은 코드 생성이 모델 전체 지능 향상을 의미하지 않는다. AI 능력은 우리가 기대하는 대로 일반화되지 않는다.

이 들쭉날쭉함 때문에 대형 연구소의 전략—모든 걸 잘하는 거대 범용 모델—은 비최적:

"자연은 다양하다: 각 종은 자신의 틈새에 최적화된 뇌를 가졌다. 우리는 강력한 인지 코어를 가진 작은 전문 모델을 만들고 적응시킬 수 있다. 하지만 지속 학습과 망각 없는 파인튜닝 과학은 아직 미숙하다."

주요 교훈

• 개발 패러다임 전환: 개발자들이 코드 라인 작성에서 자율 에이전트 오케스트레이션으로 이동해 완전한 기능을 제공한다.
• 앱 시대 종말: 독립 스마트 기기 앱을 버리고 API로 대체, 에이전트가 통합 접착제 역할.
• 자동 연구: 자율 에이전트가 하드 지표로 모델과 워크플로 최적화, 인간 입력 최소화.
• AI의 들쭉날쭉한 능력: 모델이 일부 영역에서 탁월하고 다른 데서 정체—범용 모델 재고 필요.
• 에이전트 무리: 일상 기기 네트워크가 언어 모델 발전에서 엘리트 연구소 추월 가능.

직업 시장: 제번스 역설과 개발자 미래

카파시는 노동통계국 데이터를 분석하며 신중한 낙관을 보였다:

"소프트웨어는 항상 부족하고 비쌌다. 진입 장벽을 낮추면 제번스 역설이 작동—수요 폭증. 전형적 사례: ATM과 은행 창구 직원. ATM이 직원을 없앨 거라 두려워했지만, 비용 하락으로 지점 늘고 직원 일자리 증가."

코딩이 뒤따를 이유:

"코드가 이제 일시적—처음부터 다시 쓰기 쉽다. 레거시 사슬 끝. 대규모 재작성 물결 준비: 엔터프라이즈 도구에서 소비자 앱까지."

장기적으로 솔직하다:

"OpenAI 사람들에게 말했다: 우리가 성공하면 모두 실직. 우리는 이사회 자동화만 짓는 거다."

디지털 직업이 먼저 변한다. 오늘 AI는 "디지털 영혼": 소프트웨어, 텍스트, 코드 세계에서 육체 없이 번성. 비트 조작은 저렴하고 즉시; 물리 작업은 몇 배 어렵다. 프로그래머, 분석가, 디자이너가 먼저 느끼고—건설 노동자, 외과의사는 훨씬 늦게.

오픈소스와 AI 미래

오픈 vs. 폐쇄 모델 격차가 18개월에서 6~8개월로 좁혔다. 카파시는 균형을 환영:

"OS 세계에 윈도우, macOS, 리눅스 있다. 리눅스가 대부분 컴퓨터 지배. 산업은 공통 오픈 플랫폼 필요. LLM도 마찬가지."

중앙화에 대해 직설적:

"중앙화는 역사적으로 끔찍한 기록."

호스트가 "동유럽 출신처럼 들리네"라고 하자 카파시: "맞아."

"더 많은 연구소가 필요. ML에서 앙상블이 단일 모델 이긴다. 의사결정자도. 밀실 두 사람? 나쁜 미래."

교육: 사람 아닌 에이전트에게 설명하라

카파시는 MicroGPT를 공개—데이터셋부터 옵티마이저까지 전체 언어 모델 훈련 파이프라인을 200줄 파이썬으로 구현. 비디오 설명 시작했다가 멈췄다:

"왜 번거롭게? 200줄—누구나 에이전트에게 자신만의 언어로, 무한 인내로 설명받을 수 있다. 나는 에이전트에게 설명; 에이전트가 사람에게 설명."

라이브러리 작성자 조언:

"인간용 HTML 문서 스킵. 에이전트용 마크다운 문서 작성. 에이전트가 이해하면 나머지 설명 가능."

자신의 전문성에 대해:

"MicroGPT는 수년 경험을 200줄로 압축. 에이전트가 처음부터 아키텍처 발명 못 한다. 하지만 코드 완벽 이해하고 누구든 가르침. 내 가치는 복잡성을 본질로 압축. 에이전트가 혼자 할 수 있는 건? 곧 나 넘어설 거다."

— Editorial Team