C++大内存分配内存映射文件技术应用-C++-PHP中文网

C++大内存分配内存映射文件技术应用

P粉602998670

发布： 2025-08-27 13:10:02

原创

392人浏览过

内存映射文件通过将文件直接映射到虚拟地址空间，使程序能像访问内存一样读写大文件，避免频繁I/O调用。它减少I/O开销、支持超大文件处理、实现进程间共享数据，并采用按需加载机制节省内存。Windows使用CreateFileMapping和MapViewOfFile，POSIX系统使用mmap和munmap进行映射。适用场景包括大文件随机访问、进程通信和内存受限环境下的数据处理，但需注意映射失败、同步刷新和并发控制等问题。合理使用可显著提升C++程序性能与稳定性。

c++大内存分配内存映射文件技术应用

在C++程序中处理大内存分配时，传统的堆内存分配（如

new

登录后复制

或

malloc

登录后复制

）可能受限于堆空间大小、内存碎片或系统资源限制。当需要操作数百MB甚至GB级别的数据时，内存映射文件（Memory-Mapped Files）是一种高效且稳定的替代方案。它将文件内容直接映射到进程的虚拟地址空间，使程序像访问内存一样读写文件，避免了频繁的I/O调用。

内存映射文件的基本原理

内存映射文件利用操作系统的虚拟内存机制，将一个文件或部分文件映射到进程的地址空间。操作系统负责在后台按需将文件的页加载到物理内存，并在必要时换出。对映射区域的访问由操作系统自动处理，程序员只需像操作普通指针一样读写数据。

这种方式的优点包括：

减少I/O开销：无需调用
```
read()
```
登录后复制
或
```
write()
```
登录后复制
，数据通过内存访问自动同步。
支持超大文件：即使文件大于可用物理内存，也能通过分页机制访问。
共享内存支持：多个进程可映射同一文件，实现高效进程间通信。
按需加载：只有访问到具体页时才会从磁盘加载，节省内存占用。

在C++中使用内存映射文件（跨平台示例）

不同操作系统提供不同的API。Windows使用

CreateFileMapping

登录后复制

和

MapViewOfFile

登录后复制

，而POSIX系统（如Linux）使用

mmap

登录后复制

和

munmap

登录后复制

。下面分别给出简化示例。

立即学习“C++免费学习笔记（深入）”；

Windows平台示例：

假设要映射一个大二进制文件进行读写：

影像之匠PixPretty

商业级AI人像后期软件，专注于人像精修，色彩调节及批量图片编辑，支持Windows、Mac多平台使用。适用于写真、婚纱、旅拍、外景等批量修图场景。

299

查看详情

#include <windows.h>
#include <iostream>
<p>int main() {
HANDLE hFile = CreateFile(L"large_data.bin", GENERIC_READ | GENERIC_WRITE,
0, nullptr, OPEN_ALWAYS, FILE_ATTRIBUTE_NORMAL, nullptr);
if (hFile == INVALID_HANDLE_VALUE) {
std::cerr << "无法打开文件\n";
return -1;
}</p><pre class="brush:php;toolbar:false;"><pre class="brush:php;toolbar:false;">LARGE_INTEGER fileSize;
GetFileSizeEx(hFile, &fileSize);

HANDLE hMapping = CreateFileMapping(hFile, nullptr, PAGE_READWRITE, 0, 0, nullptr);
if (!hMapping) {
    CloseHandle(hFile);
    return -1;
}

void* pMapped = MapViewOfFile(hMapping, FILE_MAP_ALL_ACCESS, 0, 0, 0);
if (!pMapped) {
    CloseHandle(hMapping);
    CloseHandle(hFile);
    return -1;
}

// 现在可以通过 pMapped 访问文件内容
char* data = static_cast<char*>(pMapped);
data[0] = 'H';  // 修改文件第一个字节
data[1] = 'i';

// 刷回磁盘（可选）
FlushViewOfFile(pMapped, 0);
UnmapViewOfFile(pMapped);
CloseHandle(hMapping);
CloseHandle(hFile);
return 0;

登录后复制

}

Linux/POSIX平台示例：

使用

mmap

登录后复制

映射文件：

#include <sys/mman.h>
#include <sys/stat.h>
#include <fcntl.h>
#include <unistd.h>
#include <iostream>
#include <cstring>
<p>int main() {
int fd = open("large_data.bin", O_RDWR | O_CREAT, 0644);
if (fd == -1) {
perror("open");
return -1;
}</p><pre class="brush:php;toolbar:false;"><pre class="brush:php;toolbar:false;">const size_t file_size = 4096; // 示例大小
lseek(fd, file_size - 1, SEEK_SET);
write(fd, "", 1); // 扩展文件

void* addr = mmap(nullptr, file_size, PROT_READ | PROT_WRITE,
                  MAP_SHARED, fd, 0);
if (addr == MAP_FAILED) {
    perror("mmap");
    close(fd);
    return -1;
}

char* data = static_cast<char*>(addr);
data[0] = 'H';
data[1] = 'i';

// 同步到磁盘
msync(addr, file_size, MS_SYNC);
munmap(addr, file_size);
close(fd);
return 0;

登录后复制

}