高效解析HTML：按类型分组提取段落与表格内容

from bs4 import BeautifulSoup
import html2text
import json

# 假设 data3 包含混合的 p 和 table 标签
data3 = """
<p>这是一个段落。</p>
<p>这是第二个段落。</p>
<table>
    <thead>
        <tr><th>Header A</th><th>Header B</th></tr>
    </thead>
    <tbody>
        <tr><td>Value 1A</td><td>Value 1B</td></tr>
    </tbody>
</table>
<p>表格后的段落。</p>
<p>最后一个段落。</p>
"""

converter = html2text.HTML2Text()
soup = BeautifulSoup(data3, 'html.parser')
content_items = []

for tag in soup.descendants:
    # 陷阱：在每次循环迭代中都重新初始化 content_dict
    content_dict = {'Title': "文档标题", 'Content': ''} 

    if tag.name == "p":
        # 如果 content_dict 每次都被重新创建，这里只会收集当前 p 标签的内容
        content_dict['Content'] += converter.handle(str(tag))

    elif tag.name == "table":
        # 如果前面有 p 标签内容，先添加
        if content_dict['Content']:
            content_items.append(content_dict)
        # 为表格创建一个新的字典，并添加
        content_dict = {'Title': "文档标题", 'Content': converter.handle(str(tag))}
        content_items.append(content_dict)     

print(json.dumps(content_items, indent=4, ensure_ascii=False))

from bs4 import BeautifulSoup
import html2text
import json

# 示例 HTML 数据
data3 = """
<p>这是一个段落内容。</p>
<p>这是第二个段落，与上一个段落连续。</p>
<div>
    <p>这是一个嵌套在 div 中的段落。</p>
</div>
<table>
    <thead>
        <tr><th>产品</th><th>价格</th></tr>
    </thead>
    <tbody>
        <tr><td>笔记本</td><td>8000</td></tr>
        <tr><td>鼠标</td><td>150</td></tr>
    </tbody>
</table>
<p>表格后的第一个段落。</p>
<span>这是一个span标签。</span>
<p>表格后的第二个段落。</p>
"""

converter = html2text.HTML2Text()
soup = BeautifulSoup(data3, 'html.parser')
content_items = []  # 存储最终结果的列表
current_p_buffer = [] # 临时缓冲区，用于累积连续的 p 标签内容

# 遍历 HTML 文档的所有子孙节点
# 使用 soup.descendants 能够遍历到所有嵌套层级的标签，并大致按照文档顺序
for tag in soup.descendants:
    # 确保只处理 Tag 对象，跳过 NavigableString 等文本节点
    if tag.name == "p":
        # 如果当前标签是 p，则将其内容添加到缓冲区
        current_p_buffer.append(converter.handle(str(tag)))
    elif tag.name == "table":
        # 如果遇到 table 标签，首先检查 p 缓冲区是否有内容
        if current_p_buffer:
            # 将累积的 p 标签内容合并，并作为一个条目添加到结果列表
            content_items.append({
                'Title': "35.23.060 - DR Zone Standards", # 示例标题，可根据实际需求动态设置
                'Content': "".join(current_p_buffer)
            })
            current_p_buffer = []  # 清空 p 缓冲区，准备收集下一组段落

        # 然后，将 table 标签的内容作为一个独立条目添加到结果列表
        content_items.append({
            'Title': "35.23.060 - DR Zone Standards", # 示例标题
            'Content': converter.handle(str(tag))
        })
    # 可以根据需要添加其他标签的处理逻辑，例如忽略 div, span 等
    # else:
    #     # 如果遇到其他非 p 非 table 标签，也可能需要清空 p 缓冲区
    #     # 这取决于具体需求，例如是否只有 p 和 table 才能作为主要内容块
    #     if current_p_buffer:
    #         content_items.append({
    #             'Title': "35.23.060 - DR Zone Standards",
    #             'Content': "".join(current_p_buffer)
    #         })
    #         current_p_buffer = []

# 循环结束后，检查 p 缓冲区是否还有剩余内容（即文档末尾的段落）
if current_p_buffer:
    content_items.append({
        'Title': "35.23.060 - DR Zone Standards",
        'Content': "".join(current_p_buffer)
    })

# 打印提取的数据
print(json.dumps(content_items, indent=4, ensure_ascii=False))