HTML内容解析：如何高效分离与整合P标签与Table标签

from bs4 import BeautifulSoup, NavigableString
import html2text
import json

# 假设 data3 包含混合的 p 和 table 标签
# data3 = """
# <div>
#     <p>这是第一段内容。</p>
#     <p>这是第二段内容。</p>
#     <table><tr><td>表格1数据</td></tr></table>
#     <p>这是第三段内容。</p>
#     <p>这是第四段内容。</p>
#     <table><tr><td>表格2数据</td></tr></table>
#     <p>这是第五段内容。</p>
# </div>
# """

converter = html2text.HTML2Text()
soup = BeautifulSoup(data3, 'html.parser')
content_items = []

# 错误的初始化方式：在循环内部每次都创建一个新的字典
for tag in soup.descendants:
    content_dict = {'Title': "35.23.060 - DR Zone Standards", 'Content': ''} # 问题所在！

    if tag.name == "p":
        content_dict['Content'] += converter.handle(str(tag)) # 无法累积

    elif tag.name == "table":
        if content_dict['Content']: # 这里的 content_dict['Content'] 几乎总是空的
            content_items.append(content_dict)
        content_dict['Content'] = converter.handle(str(tag))
        content_items.append(content_dict)

from bs4 import BeautifulSoup, NavigableString
import html2text
import json

# 示例 HTML 数据
data3 = """
<div id="main-content">
    <p>这是第一段内容。</p>
    <p>这是第二段内容。</p>
    <table>
        <thead>
            <tr><th>Header 1</th><th>Header 2</th></tr>
        </thead>
        <tbody>
            <tr><td>表格1数据A</td><td>表格1数据B</td></tr>
            <tr><td>表格1数据C</td><td>表格1数据D</td></tr>
        </tbody>
    </table>
    <p>这是第三段内容。</p>
    <p>这是第四段内容。</p>
    <table>
        <thead>
            <tr><th>Col A</th><th>Col B</th></tr>
        </thead>
        <tbody>
            <tr><td>表格2数据X</td><td>表格2数据Y</td></tr>
        </tbody>
    </table>
    <p>这是第五段内容。</p>
    <div>
        <p>这是一个嵌套的段落。</p>
    </div>
    <p>这是第六段内容。</p>
</div>
"""

converter = html2text.HTML2Text()
soup = BeautifulSoup(data3, 'html.parser')
content_items = []  # 存储最终结果的列表

# 用于累积连续 <p> 标签内容的缓冲区
current_paragraph_accumulator = []

# 为了确保处理顺序，我们通常会遍历一个共同父元素的直接子节点
# 这里假设所有相关 p 和 table 标签都是 #main-content 的直接子节点
# 如果文档结构更复杂，可能需要调整遍历策略
target_container = soup.find(id='main-content') 
if not target_container:
    # 如果没有找到特定容器，则遍历 soup 的直接子节点
    # 或者根据实际HTML结构选择更合适的父元素
    target_container = soup

# 遍历目标容器的直接子节点，而不是所有后代，以保持内容的顺序性
for tag in target_container.children:
    # 忽略 NavigableString（文本节点）和非元素标签
    if isinstance(tag, NavigableString) or not hasattr(tag, 'name'):
        continue

    if tag.name == "p":
        # 将 <p> 标签的内容添加到累加器
        current_paragraph_accumulator.append(converter.handle(str(tag)))

    elif tag.name == "table":
        # 如果累加器中有内容，先将其作为一项添加
        if current_paragraph_accumulator:
            combined_p_content = "".join(current_paragraph_accumulator).strip()
            if combined_p_content: # 确保内容不为空白
                content_items.append({
                    'Title': "35.23.060 - DR Zone Standards", 
                    'Content': combined_p_content
                })
            current_paragraph_accumulator = [] # 清空累加器

        # 然后将当前 <table> 标签的内容作为一项添加
        table_content = converter.handle(str(tag)).strip()
        if table_content: # 确保内容不为空白
            content_items.append({
                'Title': "35.23.060 - DR Zone Standards",
                'Content': table_content
            })
    # 如果有其他需要处理的标签类型，可以在这里添加 elif 条件

# 循环结束后，检查累加器中是否还有剩余的 <p> 内容
if current_paragraph_accumulator:
    combined_p_content = "".join(current_paragraph_accumulator).strip()
    if combined_p_content:
        content_items.append({
            'Title': "35.23.060 - DR Zone Standards",
            'Content': combined_p_content
        })

# 打印提取的数据
print(json.dumps(content_items, indent=4, ensure_ascii=False))