如何通过JavaScript的异步生成器处理流数据，以及它在Node.js中读取大文件时的应用原理是什么？

async function*

yield

next()

for await...of

fs.createReadStream

yield

for await...of

fs.readFile

fs.createReadStream

data

end

error

Readable

for await...of

import { createReadStream } from 'node:fs';
import { join } from 'node:path';

// 假设我们有一个大文件
const filePath = join(process.cwd(), 'large-file.txt'); // 确保文件存在

/**
 * 创建一个异步生成器，用于从文件流中读取数据块
 * @param {string} path 文件路径
 * @returns {AsyncGenerator<Buffer, void, unknown>} 异步生成器，每次yield一个数据块
 */
async function* readFileChunkByChunk(path) {
    const stream = createReadStream(path, { highWaterMark: 64 * 1024 }); // 每次读取64KB
    stream.setEncoding('utf8'); // 也可以不设置，直接处理Buffer

    let error = null;
    stream.on('error', (err) => {
        error = err;
    });

    for await (const chunk of stream) {
        if (error) {
            throw error; // 如果流发生错误，立即抛出
        }
        yield chunk; // 每次读取到数据块就yield出去
    }

    if (error) {
        throw error; // 确保在流结束前检查是否有错误
    }
    // 流正常结束，生成器完成
}

// 如何使用这个生成器
async function processLargeFile() {
    console.log('开始处理大文件...');
    let totalBytes = 0;
    try {
        for await (const chunk of readFileChunkByChunk(filePath)) {
            // 这里可以对每个chunk进行异步处理，例如：
            // await someAsyncProcessing(chunk);
            totalBytes += chunk.length;
            // 模拟一些处理延迟
            // await new Promise(resolve => setTimeout(resolve, 10));
            // console.log(`处理了 ${chunk.length} 字节，当前总计：${totalBytes} 字节`);
        }
        console.log(`文件处理完成。总共读取了 ${totalBytes} 字节。`);
    } catch (err) {
        console.error('文件处理过程中发生错误:', err);
    }
}

// 运行示例
// processLargeFile();
// 为了演示，你需要先创建一个足够大的文件，例如：
// node -e "require('fs').writeFileSync('large-file.txt', 'a'.repeat(1024 * 1024 * 100))" // 创建一个100MB的文件

readFileChunkByChunk

for await (const chunk of stream)

stream

stream

chunk

readFileChunkByChunk

yield chunk

processLargeFile

for await...of

stream.on('data')

for await...of

next()

yield

for await (const chunk of stream)

for await...of

chunk

yield

chunk

chunk