Tim Cook이 “Apple Intelligence”를 발표했을 때 주제는 간단했습니다. 바로 개인 정보 보호였습니다. 귀하의 데이터를 대규모 서버 팜으로 빨아들이려는 OpenAI 또는 Google과 달리 Apple은 AI가 귀하의 휴대폰에 살기를 원합니다. 그들은 “뇌”가 주머니에 들어가기를 원합니다.
고귀한 것 같습니다. 안전할 것 같네요. 하지만 아직까지 아무도 하지 않은 이유가 있습니다. 코드 품질과는 아무런 관련이 없습니다. 이는 전적으로 열역학 및 메모리 대역폭에 관한 것입니다.
Apple은 Google과 싸우지 않습니다. 그들은 물리학과 싸우고 있습니다.
후크: “토큰” 문제
2025년에도 Siri가 여전히 멍청한 이유를 이해하려면 메모리 대역폭을 살펴봐야 합니다. LLM은 단지 가중치(숫자)의 거대한 파일일 뿐입니다. 70억 개의 매개변수 모델(양자화된 int4)의 크기는 약 4GB입니다.
단일 단어(토큰) 하나를 생성하려면 프로세서가 RAM 칩에서 해당 전체 4GB 파일을 컴퓨팅 장치로 읽어야 합니다. 20단어의 문장을 생성하려면? 4GB 파일을 20번 읽어야 합니다.
심층 분석: 기억의 벽
이것이 “메모리 대역폭 병목 현상”입니다.
- 문제: 휴대폰의 CPU 속도가 빠릅니다(3GHz). 하지만 휴대전화의 메모리(LPDDR5X)는 느린 속도입니다.
- 수학: iPhone 16 Pro의 메모리 대역폭은 대략 50GB/s입니다.
- 현실: 4GB 모델을 초당 20회 이동해야 하는 경우(사람의 읽기 속도를 얻기 위해) AI에만 80GB/s의 대역폭이 필요합니다.
그러면 전화기의 나머지 부분에 대한 대역폭은 0이 됩니다. 이는 “UI Jank”로 이어집니다. AI가 말하면 스크롤이 더듬거립니다. 전화기가 고장난 것 같아요.
열 봉투: 5W 대 500W
데이터 센터의 Nvidia H100 GPU는 700와트를 소비합니다. 녹는 것을 막기 위해 대규모 액체 냉각 기능이 있습니다. iPhone의 총 열 예산은 약 5와트입니다. 그 이상 올라가면 45분 만에 배터리가 방전되고 케이스가 너무 뜨거워져 잡을 수 없게 됩니다.
Apple의 엔지니어들은 700와트 알고리즘을 5와트 봉투에 압축하려고 노력하고 있습니다. 그들은 극단적인 양자화(모델을 더 작게 만들기 위해 모델을 더 멍청하게 만드는 것)와 “추측적 디코딩”(앞의 3단어 추측)을 통해 이를 수행하고 있습니다.
하지만 열기는 거짓말을 하지 않습니다. iOS 19의 초기 테스트에서는 AI를 많이 사용하면 3분 후에 화면 밝기가 어두워지는 것으로 나타났습니다. 그것은 배터리를 보호하는 열 조절입니다.
상황적 역사: RAM의 인색함은 다시 물거품이 됩니다
수년 동안 애플은 RAM에 인색했다. iPhone의 용량은 6GB인 반면 Samsung Galaxy의 용량은 12GB입니다. 애플은 “OS는 효율적이다! RAM이 더 필요하지 않다”고 주장했다. 앱에 있어서는 그들이 옳았습니다. AI에게는 틀렸어요.
AI 모델이 반응하려면 “핫”(RAM에 로드됨) 상태를 유지해야 하기 때문에 해당 4GB 모델은 휴대폰 메모리의 50%를 차지합니다.
- 결과: Siri에게 질문을 하면 전화기는 Siri의 두뇌를 위한 공간을 확보하기 위해 Instagram과 Safari를 “죽여야” 합니다.
- 사용자 경험: Safari로 돌아가면 페이지가 다시 로드됩니다.
이것이 바로 iPhone 18이 12GB 또는 16GB RAM으로 점프할 것이라는 소문이 있는 이유입니다. 게임용이 아닙니다. 다른 앱을 죽이지 않고 AI 두뇌를 살아있게 유지하는 것입니다.
미래 지향적 분석: “프라이빗 클라우드” 침해
Apple은 온디바이스가 품질 전쟁에서 지고 있다는 것을 알고 있습니다. 휴대폰의 3B 매개변수 모델은 클라우드(GPT-4)의 1TB 매개변수 모델만큼 스마트할 수 없습니다.
이것이 바로 **프라이빗 클라우드 컴퓨팅(PCC)**을 구축한 이유입니다. 이는 물리학적 패배를 인정하는 것입니다. 귀하의 요청이 전화에 비해 너무 어려운 경우(열/메모리 제한) Apple Silicon 서버 팜으로 전송됩니다. Apple은 데이터가 즉시 삭제된다고 맹세합니다. 사용자는 이를 신뢰해야 합니다.
그러나 미래는 순수한 “기기 내”가 아닙니다. 하이브리드입니다.
- Tiny Brain(전화): “조명 켜기”, “이 텍스트 읽기”, “타이머 설정”을 처리합니다.
- 빅 브레인(클라우드): “상사에게 이메일 쓰기”, “이 PDF 요약”, “이미지 생성”을 처리합니다.
결론
새로운 Siri는 Apple 엔지니어들이 코딩 방법을 잊어버렸기 때문에 어려움을 겪지 않습니다. “계산”의 정의가 하룻밤 사이에 “버스트”(앱 열기)에서 “지속”(토큰 생성)으로 변경되었기 때문에 어려움을 겪고 있습니다. 배터리 화학이나 메모리 물리학이 변할 때까지 주머니 속 초지능적이고 완전한 개인용 AI에 대한 꿈은 그대로 유지될 것입니다.
출처 (3)
- semiconductor.samsung.com Samsung Semiconductor: On-Device AI
- semianalysis.com The Memory Wall
- developer.apple.com Apple Platform Architecture
🦋 Bluesky 토론
Bluesky에서 토론하기