Neural Engine

CPU는 무엇이든 실행할 수 있지만 신경망 연산에서는 가장 느리고 전력도 가장 많이 씁니다. GPU는 빠르고 유연하며, MLX나 Metal 같은 프레임워크를 통해 대부분의 로컬 언어 모델이 실행되는 곳입니다. Neural Engine은 제약에 맞는 모델이라면 셋 중 가장 효율적이며, 음성 인식 모델은 그 제약에 잘 맞습니다. 잘 만든 로컬 받아쓰기 도구는 각 모델을 가장 잘 돌아가는 곳에 두고, CPU는 사용자가 입력 중인 앱을 위해 남겨 둡니다.

Intel 기반 Mac에서 로컬 받아쓰기를 한다는 것은 그런 용도로 만들어지지 않은 CPU에서 모델을 실행한다는 뜻입니다. 작동은 하지만 느리며, 온디바이스 도구들이 Apple 실리콘을 최소 조건으로 정하는 큰 이유가 이것입니다. M1 이상에서는 같은 모델이 Mac에 거의 부담을 주지 않고 실시간으로 실행됩니다. 하루 종일 켜 두는 도구와 특별한 경우에만 켜는 도구의 차이가 여기서 생깁니다.

Mac에서는 M1 칩부터 Neural Engine이 탑재되었습니다. 따라서 실제 질문은 Mac에 Apple 실리콘이 탑재되어 있는지이며, macOS는 하나의 윈도우에서 이를 알려 줍니다.

1. 01 화면 모서리에 있는 Apple 메뉴를 클릭하세요.
2. 02 ‘이 Mac에 관하여’를 선택하세요.
3. 03 열리는 윈도우를 확인하세요. Apple 실리콘이 탑재된 Mac에는 ‘칩’이라는 항목이 있고, 그 뒤에 칩 이름이 표시됩니다.
4. 04 ‘프로세서’라는 항목 뒤에 Intel 프로세서 이름이 표시되면 Intel 기반 Mac이며 Neural Engine이 없습니다.

Neural Engine은 iPhone에서 시작되었습니다. Apple에 따르면 1세대는 2017년 iPhone X의 A11 칩에 탑재되어 출시되었습니다. iPad에는 A12 칩과 함께, Mac에는 M1 칩과 함께 도입되었습니다.

Apple의 Apple 실리콘 탑재 Mac 목록에는 2020년 M1 MacBook Air와 2022년 이후의 모든 MacBook Air, 2020년 M1 13형 MacBook Pro와 2021년 이후의 모든 MacBook Pro, 2020년 이후의 Mac mini, 2021년 이후의 iMac, 2022년 이후의 Mac Studio, 2023년 Mac Pro가 포함됩니다. 이 기간에도 일부 Intel 모델이 판매되었으므로, 연도만 보고 판단하지 말고 ‘이 Mac에 관하여’를 확인하세요.

앱은 Neural Engine과 직접 통신하지 않습니다. 앱은 Apple의 머신 러닝 프레임워크인 Core ML에 모델을 넘기며, Apple에 따르면 Core ML은 CPU, GPU, Neural Engine을 조합해 기기에 가장 효과적인 실행 계획을 세웁니다. 모델에서 Neural Engine에 맞지 않는 부분은 다른 곳에서 실행됩니다.

모델을 어떻게 작성하느냐에 따라 Neural Engine에서 실행되는 비중이 달라집니다. 공개된 사례에서 Apple 엔지니어들은 텍스트 모델을 Neural Engine에 맞게 재구성했으며, iPhone 13에서 최적화하지 않은 버전보다 최대 10배 빠르게 실행되고 최대 메모리 사용량은 14배 적었다고 보고했습니다. 같은 모델이 어떤 앱에서는 빠르고 다른 앱에서는 느린 이유가 바로 이것입니다.