Jensen Huang: NVIDIA — The $4 Trillion Company & the AI Revolution

🔧 Extreme Co-Design — 왜 랙 전체를 설계하는가?

문제: 분산 컴퓨팅의 한계

• 하나의 GPU로 해결 안 됨 → 10,000대 컴퓨터 추가해도 속도는 선형 증가
• Amdahl's Law: 전체 워크로드의 50%만 가속하면, 무한 가속해도 2배밖에 안 빨라짐
• 따라서 GPU, CPU, 메모리, 네트워킹, 스위칭, 전력, 냉각 모두 동시에 최적화 필요

조직 구조: 60명 직속, 1-on-1 없음

• 60명 직속 — 메모리, CPU, GPU, 광학, 알고리즘, 설계 전문가들
• 1-on-1 미팅 없음 — 모든 문제를 전체가 공격
• "냉각 논의 중에도 전원 전문가가 듣고 있다. '이건 전력 배분에 안 맞아'라고 지적"
• 회사 아키텍처는 제품을 반영해야 함
• "햄버거 회사, 소프트웨어 회사, 자동차 회사 조직도가 다 똑같은 건 말이 안 됨"
• "회사는 제품을 생산하는 시스템이다. 조직은 환경을 반영해야 한다."

💾 CUDA on GeForce — 회사를 거의 죽일 뻔한 결정

배경: 가속기 → 컴퓨팅 회사 전환

• 1단계: 프로그래머블 픽셀 셰이더
• 2단계: FP32 추가 (IEEE 호환)
• 3단계: CG → CUDA

결정: CUDA를 모든 GeForce GPU에 탑재

문제: 소비자 제품에 CUDA 추가 → 비용 50% 증가

이유: Install Base가 모든 것

• x86이 우아하지 않아도 살아남은 이유 = Install Base
• RISC 아키텍처들은 우아했지만 실패
• GeForce 수백만 대 → 대학/연구자에게 슈퍼컴퓨터 제공
• CUDA 책 쓰고, 수업 열고, 개발자 유치
• 10년 걸렸다 — 하지만 결국 딥러닝 혁명의 토대 됨

의사결정 프로세스 — 미래를 믿고 Manifest

• 호기심 → 추론 시스템 → 확신
• "머릿속에서 믿으면 미래를 manifest한다. 그 미래는 너무 확신적이라 일어나지 않을 수가 없다."
• 점진적 설득: 어느 날 갑자기 "큰 선언"하지 않음
• 매일매일 팀, 이사회, 직원들에게 정보 전달
• 벽돌 하나하나 쌓듯이 belief system shaping
• "딥러닝 올인하자고 선언하는 날, 모두가 '당연하지, 왜 이제야?'라고 생각"

📈 스케일링 법칙 4가지 + AGI 정의

1. Pre-Training Scaling

• 데이터 부족 우려 → 합성 데이터로 해결
• "우리가 서로 가르치는 데이터도 다 합성이다. 자연에서 나온 게 아니라 인간이 만든 것."
• 합성 데이터 → 무한 확장 가능
• 이제 제약은 데이터가 아니라 Compute

2. Post-Training Scaling

• Fine-tuning, RLHF 등

3. Test-Time Scaling — "추론은 생각하기, 독서보다 어렵다"

많은 사람들이 착각: "Pre-training은 어려워, Inference는 쉬워" → "Inference 칩은 작고 싸겠지"

Jensen의 반박:

• Inference = Thinking (생각하기)
• Pre-training = Reading (독서)
• 생각이 독서보다 훨씬 어렵다
• Reasoning, Planning, Search, Exploration
• → Test-Time Scaling은 Compute Intensive

4. Agentic Scaling — "에이전트 팀 만들기"

• 나 자신을 스케일하는 것보다 직원 고용이 더 쉽다
• AI 에이전트 → Sub-Agent 무한 생성 가능
• → Agentic Loop: 에이전트가 데이터 생성 → Pre-Training으로 회귀 → 정제 → Post-Training → 테스트 → Test-Time → 산업 적용 → Agentic → 반복

AGI 도달 여부

Lex: "당신 일(회사 경영)을 할 수 있는 AI = AGI?"

Jensen: "지금 도달했다고 본다."

• 단, $1B 회사를 만들되 영원할 필요는 없음
• OpenClaw가 바이럴 웹서비스 만들고 $50억 벌고 사라질 수도
• 인터넷 시대 스타트업처럼
• 중국에서 이미 사람들이 Claw에게 일 시키고 돈 벌게 하는 중
• 하지만: "100,000개 에이전트가 Nvidia 만들 확률 = 0%"

🤖 OpenClaw 혁명 — 새로운 컴퓨터의 발명

OpenClaw = ChatGPT for Agentic Systems

• ChatGPT: Generative AI의 순간
• OpenClaw: Agentic AI의 순간

Jensen이 2년 전부터 예측

• GTC 키노트 2년 전: 에이전트 시스템 스키마틱이 지금 OpenClaw와 정확히 일치
• 추론 과정: "디지털 워커를 만들려면?"
  • 1. Ground Truth 접근 (파일 시스템)
  • 2. 리서치 능력 (모든 걸 모를 수 있으니 검색)
  • 3. 도구 사용 (Tool Use)
• → "AI가 소프트웨어 대체? 말도 안 됨."
• → "휴머노이드 로봇이 우리 집에 들어오면, 손이 망치로 변신? 아니면 망치를 사용?"
• → 당연히 도구 사용

영향: 컴퓨터 재발명

• 컴퓨터를 재발명했다
• Vera Rubin 랙 (2024) vs. Grace Blackwell 랙 (2023):
  • Grace Blackwell: LLM 추론에 최적화
  • Vera Rubin: 에이전트에 최적화 (Storage Accelerator, Vera CPU, Grock 추가)

Nvidia의 OpenClaw 지원

• OpenShell → 보안 강화
• Nemo Claw → 쉬운 설치, 엔터프라이즈용
• 2 out of 3 Rule: 에이전트는 3가지 중 2가지만 가능:
  • 1. 민감 정보 접근
  • 2. 코드 실행
  • 3. 외부 통신
  • → 3개 다 주면 위험 → 2개만
• RBAC + Policy Engine 통합

⛓️ 공급망 관리 — CEO들에게 미래를 설명하다

"몇백 명의 CEO가 키노트에 왔다"

• IT 업계 상류(upstream) + 인프라 업계 하류(downstream)
• Jensen의 역할:
  • 현재 비즈니스 상태 공유
  • 가까운 미래 성장 동인 설명
  • 다음 행선지 제시
  • → 그들이 투자 결정할 수 있게

DRAM 업체 설득 사례

3년 전:

• DRAM 1위 = DDR (CPU용)
• HBM (High Bandwidth Memory) = 슈퍼컴퓨터용 소량

Jensen이 설득:

• "HBM이 데이터센터 메인스트림 메모리가 될 것"
• "처음엔 말도 안 된다고 했지만, 몇몇 CEO가 믿고 투자"

결과:

• HBM4, LPDDR5 (스마트폰 메모리를 슈퍼컴퓨터에)
• 3개 업체 모두 역대 최대 매출 (45년 역사)

공급망 제약 — "늘 깨어 있다"

• ASML (EUV), TSMC (패키징), SK Hynix (HBM)
• 세계 역사상 이런 성장 속도 없었다
• 성장 중에도 가속하고 있음
• AI 컴퓨팅 시장에서 점유율도 증가 중

⚡ 전력 문제 — Tokens/Watt 개선 + SMR

전력은 제약이지만 유일한 제약은 아님

• Extreme Co-Design으로 Tokens/sec/Watt 매년 order of magnitude 개선
• 10년간:
  • Moore's Law: 100배 증가
  • Nvidia: 100만 배 증가
• 컴퓨터 가격은 올라가지만, Token 생성 효율이 더 빨리 올라감
• → Token 비용은 매년 1/10으로

소형 모듈 원자로 (SMR)

• "당연히 해야 한다"
• 10년 걸림 → 지금 시작해야

👔 일자리 불안 — 방사선과 의사는 왜 늘었나?

방사선과 사례

• 2019~2020년: 컴퓨터 비전 superhuman 달성
• 예측: "방사선과 의사 사라질 것"
• 현실: 방사선과 의사 수요 증가, 지금 부족

왜?

• 목적 ≠ 작업
  • 방사선과 의사의 목적: 질병 진단, 환자 돕기
  • 작업: 스캔 분석
• AI가 스캔 분석 빠르게 → 더 많은 스캔 가능 → 더 많은 환자 → 더 많은 의사 필요
• 병원 수익 증가 → 방사선과 의사 고용 증가

소프트웨어 엔지니어도 마찬가지

• 목적: 문제 해결, 혁신, 팀워크
• 작업: 코딩
• "나는 엔지니어가 몇 줄 코드 썼는지 신경 안 쓴다. 문제를 해결하길 원한다."
• → Nvidia 소프트웨어 엔지니어 수 증가 예정

코딩의 재정의

• 코딩 = Specification — 컴퓨터에게 무엇을 만들지 명세 주는 것
• 현재 코더: 3천만 명
• 미래 코더: 10억 명
  • 목수, 배관공, 회계사 모두 코더 됨
  • 목수 + AI = 건축가
  • 회계사 + AI = 재무 분석가 + 어드바이저

조언: "AI 전문가를 고용하겠다"

• 대졸 신입: AI 모르는 사람 vs. AI 전문가 → AI 전문가 고용
• 모든 직업: 회계사, 마케터, 변호사, 목수, 농부, 약사 → AI 쓰는 사람 고용

불안 해소 방법

• 1. 분해: 뭘 할 수 있고, 뭘 할 수 없는지
• 2. 할 수 있는 것: AI 배우기
• 3. AI에게 물어봐:
  • "AI 어떻게 써요?" → AI: "알려줄게"
  • Excel은 "Excel 어떻게 써요?" 물어봐도 안 알려줌
  • AI는 Life Coach

❤️ 지능 vs. 인간성 — "지능은 상품, 인간성은 초능력"

지능의 기능적 정의

• 지능 = 인식, 이해, 추론, 계획
• 기능적인 것, 신비한 게 아님
• "지능은 과대평가되었다"

인간성

• 인간성 = 초능력
  • 고통 견디기, 결단력, 연민, 관대함
  • 이것이 진짜 힘
• "나는 식기세척기(dishwasher) 출신이다. 60명의 슈퍼휴먼 가운데 앉아 있다. 왜? 지능 때문이 아니다."

AI는 느낄 수 없다

• "칩이 긴장할 것 같지 않다"
• 같은 상황, 같은 컨텍스트 → 다른 인간은 다른 퍼포먼스 (불안, 흥분, 극한 퍼포먼스)
• AI는 통계적 다름만 있지, 느끼지 않는다

☠️ 죽음과 승계 계획 — "일하다 죽고 싶다"

승계 계획 안 함

• "승계 계획 믿지 않는다"
• 이유:
  • 승계 걱정 → 불안
  • 불안 → 뭘 해야? → 지식 전달
  • 매일 지식, 통찰, 경험 전달
  • "배운 것은 0.1초도 내 책상에 안 둔다. 즉시 전달."
• 모든 미팅 = 추론 미팅 — 끊임없이 reasoning

죽음

• "정말 죽고 싶지 않다"
• "내 인생은 훌륭하다. 이건 once in humanity experience"
• Nvidia = 역사상 가장 중요한 기술 회사 중 하나
• 희망: "일하다가 즉사. 고통 없이."

🌟 인류의 미래 — 낙관의 근거

인간 본성에 대한 믿음

• "사람들의 친절, 관대함, 연민을 항상 믿었다"
• "가끔 이용당해도, 계속 믿는다"
• "사람들은 선을 행하고 싶어 한다. 항상 증명된다."

우리 생애에 이룰 것들

• 질병의 종말 (reasonable expectation)
• 오염 대폭 감소
• 빛의 속도로 여행 (단거리)
  • 휴머노이드 로봇을 우주선에 태움
  • 비행 중 계속 업그레이드
  • Jensen의 의식(inbox, 발언, 모든 것) → AI로 업로드
  • 빛의 속도로 전송 → 로봇에 합류

과학의 신비

• 생물학적 기계 이해 — 5년 안에
• 인간 마음 해독
• 이론 물리학 돌파
• 의식 설명 (that would be awesome)