MLX

Apple의 설명은 다른 프레임워크와의 차이점 하나를 꼽습니다. 바로 통합 메모리 모델입니다. Apple 실리콘에서는 프로세서와 그래픽 칩이 하나의 메모리 풀을 공유합니다. MLX 배열은 이 공유 메모리에 있으므로, 데이터를 이리저리 복사하지 않고도 작업이 둘 사이를 오갈 수 있습니다.

대부분의 다른 컴퓨터에서는 그래픽 카드에 별도의 자체 메모리가 있고, 모델이 그 안에 들어가야 합니다. Mac에서는 모델이 컴퓨터 전체의 메모리를 사용할 수 있으므로, 노트북에서도 원래라면 전용 그래픽 카드가 필요한 모델을 실행할 수 있습니다.

Apple의 문서에 따르면 연산은 CPU와 GPU에서 실행될 수 있습니다. Neural Engine은 나와 있지 않습니다. Mac에 설치하려면 Apple 실리콘과 macOS 14 이상이 필요합니다.

같은 문서에는 이제 Linux용 빌드도 설명되어 있으며, Nvidia 그래픽 카드용 빌드도 있습니다. 따라서 MLX는 더 이상 Apple 하드웨어 전용이 아닙니다. 설계의 중심은 여전히 Apple 실리콘입니다.

MLX 자체는 배열과 배열 연산만 다룹니다. 대부분의 사람이 접하는 것은 그 위에 만들어진 패키지입니다.

• MLX LM: Apple의 같은 팀이 만들었으며, 대규모 언어 모델로 텍스트를 생성하고 미세 조정하는 데 씁니다.
• MLX Whisper: Apple의 예제에 포함되어 있으며, Whisper로 음성을 인식하는 데 씁니다.
• MLX Swift: Swift로 작성한 Mac 또는 iPhone 앱에서 MLX를 직접 사용할 수 있게 해 줍니다.
• 오디오와 음성을 위한 커뮤니티 라이브러리: MLX를 기반으로 만들어졌지만 Apple의 것은 아닙니다.

MLX 모음의 모델 이름은 흔히 4bit나 8bit로 끝납니다. 이것이 양자화입니다. 가중치를 각각 더 적은 비트로 저장하여 다운로드 크기를 줄이고 메모리를 덜 쓰게 하지만, 정확도가 어느 정도 떨어집니다. MLX 도구는 모델을 변환할 때 이런 빌드를 만들 수 있습니다.

Apple에는 자사 기기에서 모델을 실행하는 프레임워크가 두 가지 있으며, 용도가 다릅니다. Apple은 MLX를 Apple 실리콘에서 생성형 모델을 실험하고, 훈련하고, 미세 조정하기 위한 오픈 소스 배열 프레임워크로 설명합니다. Core ML은 머신 러닝 모델을 앱에 통합하는 방법으로 설명합니다.

실제로는 많은 앱이 둘 다 사용합니다. Neural Engine에 맞는 모델에는 Core ML을, 그래픽 칩에서 실행되는 대규모 언어 모델이나 음성 모델에는 MLX를 씁니다.