Main Content

메모리 매핑 개요

메모리 매핑이란?

메모리 매핑은 디스크에 있는 파일의 일부분 또는 전체 파일을 애플리케이션 주소 공간 내 특정 범위의 주소로 매핑하는 메커니즘입니다. 애플리케이션은 이를 통해 동적 메모리에 액세스하는 것과 같은 방식으로 디스크에 있는 파일에 액세스할 수 있습니다. 이렇게 하면 freadfwrite 같은 함수를 사용하는 것에 비해 파일 읽기 및 쓰기 속도가 더 빨라집니다.

메모리 매핑의 이점

메모리 매핑의 주요 이점은 효율성, 더 빠른 파일 액세스, 애플리케이션 간 메모리 공유 및 더 효율적인 코딩입니다.

더 빠른 파일 액세스

메모리 맵을 통해 파일에 액세스하는 편이 freadfwrite 같은 I/O 함수를 사용하는 것보다 속도가 더 빠릅니다. 프로세스 소유의 데이터 버퍼를 할당하고, 이 데이터 버퍼로 복사한 다음, 데이터 버퍼를 할당 취소할 필요 없이, 운영 체제에 내장된 가상 메모리 기능을 사용하여 데이터를 읽고 쓰기 때문입니다.

MATLAB®은 맵이 일단 생성되면 디스크에 있는 데이터에 액세스하지 않습니다. 메모리 맵의 특정 부분에 액세스한 경우에만 디스크에 있는 파일을 읽거나 쓰며, 그런 다음 이 특정 부분만 읽어옵니다. 이 때문에 매핑된 데이터에 대한 임의 액세스 속도가 더 빠릅니다.

효율성

파일을 메모리에 매핑하면, 마치 파일의 데이터가 이미 읽혀져 애플리케이션의 주소 공간 내 배열에 들어 있는 것처럼 파일의 데이터에 액세스할 수 있습니다. 처음에 MATLAB은 배열에 대한 주소 공간을 할당만 할 뿐, 사용자가 매핑된 영역에 액세스할 때까지 파일에서 데이터를 실제로 읽어오지는 않습니다. 따라서 메모리 매핑된 파일은 애플리케이션이 전체 파일을 메모리로 먼저 읽어올 필요 없이 매우 큰 파일의 데이터 세그먼트에 액세스할 수 있는 메커니즘을 제공합니다.

효율적인 코딩 스타일

MATLAB 애플리케이션에서 메모리 매핑을 사용하면 표준 MATLAB 인덱싱 연산을 통해 파일 데이터에 액세스할 수 있습니다. 파일을 메모리에 매핑한 후에는, MATLAB 작업 공간에서 변수를 읽어올 때와 동일한 유형의 MATLAB 명령문을 사용하여 해당 파일의 내용을 읽어올 수 있습니다. 매핑된 파일의 내용은 현재 활성화된 작업 공간에 있는 배열처럼 보입니다. 파일에서 원하는 데이터를 읽어오거나 쓰려면 이 배열의 요소를 참조하기만 하면 됩니다. 따라서 fread 함수와 fwrite 함수를 명시적으로 호출할 필요가 없습니다.

MATLAB에서 x가 메모리 매핑된 변수이고 y가 파일에 쓰려는 데이터인 경우 파일에 쓰는 것은 다음과 같이 간단합니다.

x.Data = y;

애플리케이션 간에 메모리 공유

메모리 매핑된 파일은 또한 아래 그림과 같이 애플리케이션 간에 메모리를 공유할 수 있는 메커니즘을 제공합니다. 이는 각 애플리케이션이 같은 파일의 섹션을 매핑함으로써 가능합니다. 이 기능을 사용하여 MATLAB과 다른 애플리케이션 간에 대규모 데이터 세트를 전송할 수 있습니다.

또한 단일 애플리케이션 내에서 파일의 같은 세그먼트를 두 번 이상 매핑할 수 있습니다.

메모리 매핑을 사용하는 경우

파일을 메모리에 매핑하여 어느 정도의 이점을 얻을지는 주로 파일 크기와 형식, 파일의 데이터를 사용하는 방법, 그리고 사용 중인 컴퓨터 플랫폼에 따라 달라집니다.

메모리 매핑이 가장 유용한 경우

메모리 매핑은 이진 파일을 사용할 때와 다음과 같은 시나리오에서 가장 효과가 좋습니다.

  • 크기가 큰 파일에 한 번 이상 임의로 액세스하려는 경우

  • 크기가 작은 파일을 메모리에 한 번 읽어온 후 자주 액세스하려는 경우

  • 애플리케이션 간에 데이터를 공유하려는 경우

  • 마치 MATLAB 배열인 것처럼 파일의 데이터를 다루려는 경우

이점이 그다지 크지 않는 경우

다음 유형의 파일은 메모리 매핑의 이점을 충분히 활용하지 못합니다.

  • HDF 또는 TIFF처럼 사용자 지정 리더가 필요한 형식 지정된 이진 파일은 메모리 매핑에 적합하지 않습니다. 이러한 파일에 포함된 데이터를 기술하는 작업이 아주 복잡할 수 있습니다. 또한, 매핑된 세그먼트에서 바로 데이터에 액세스할 수 없으며, 대신 데이터를 저장할 배열을 생성해야 합니다.

  • 텍스트 파일이나 ASCII 파일의 경우, 의미 있는 데이터를 얻으려면 매핑된 영역에 있는 텍스트를 데이터에 적합한 유형으로 변환해야 합니다. 이 과정에서 주소 공간이 추가로 사용됩니다.

  • 크기가 수백 메가바이트를 넘는 파일은 MATLAB이 프로그램을 처리하는 데 필요한 가상 주소 공간 중 상당 부분을 사용합니다. 이런 크기의 파일을 매핑하면 MATLAB이 메모리 부족 오류를 더 자주 보고할 수 있습니다. 이 오류는 MATLAB이 한동안 실행되고 있거나 MATLAB에서 사용하는 메모리가 조각화된 경우에 발생할 가능성이 더 높습니다.

메모리 맵의 최대 크기

운영 체제와 MATLAB에서 설정한 제한 때문에, 메모리 맵의 단일 인스턴스에 매핑할 수 있는 최대 데이터 양은 32비트 시스템의 경우 2기가바이트이고, 64비트 시스템의 경우 256테라바이트입니다. 이 제한보다 더 많은 양을 매핑해야 하는 경우에는 파일의 다른 영역을 위한 맵을 별도로 생성하거나, 한 맵의 윈도우를 파일의 다른 위치로 옮기면 됩니다.

바이트 순서

메모리 매핑은 운영 체제의 기본 바이트 순서와 동일한 바이트 순서 체계를 갖는 데이터에서만 가능합니다. 예를 들어, Linus Torvalds의 Linux® 시스템과 Microsoft® Windows® 시스템은 모두 리틀 엔디안 바이트 순서를 사용하기 때문에 Linux 시스템에서 생성된 데이터를 Windows 시스템에서 읽을 수 있습니다. computer 함수를 사용하여 현재 시스템의 기본 바이트 순서를 확인할 수 있습니다.