表格转换器 (TATR)

一种基于目标检测的深度学习模型，用于从PDF和图像中提取表格。

table_extraction_v2

本仓库还包含以下论文的官方代码：

注意：如果您想使用表格转换器提取自己的表格，以下是一些有用的信息：

TATR可以训练以适用于多个文档领域，这里包含了训练自己模型所需的一切。但目前只提供了在PubTables-1M数据集上训练的TATR预训练模型权重。（有关如何训练自己的多领域模型，请参阅附加文档。）
TATR是一个从图像输入识别表格的目标检测模型。基于TATR构建的推理代码需要文本提取（来自OCR或直接从PDF）作为单独输入，以便在其HTML或CSV输出中包含文本。

下面提供了有关该项目的更多信息，包括数据、训练、评估和推理代码，供用户和研究人员使用。

新闻

2023年8月22日：我们发布了3个新的TATR-v1.1预训练模型（分别在1. PubTables-1M、2. FinTabNet.c和3. 两个数据集合并上训练），详情请参阅我们的论文。
2023年4月19日：我们最新的论文（链接和链接）已被ICDAR 2023接受。
2023年3月9日：我们在官方训练脚本中增加了更多图像裁剪（与我们最新论文中的做法相同），并更新了代码和environment.yml，使用Python 3.10.9、PyTorch 1.13.1和Torchvision 0.14.1等。
2023年3月7日：我们发布了一个新的简单推理流程用于TATR。现在您可以轻松地从图像中检测和识别表格，并将它们转换为HTML或CSV。
2023年3月7日：我们发布了一个脚本集合，用于创建TATR的训练数据并规范化已有的数据集，如FinTabNet和SciTSR。
2023年3月1日：新论文"对齐表格结构识别的基准数据集"现已在arXiv上发布。
2022年11月25日：我们已将完整的PubTables-1M数据集另外提供在Hugging Face上下载。
2022年5月5日：我们发布了在PubTables-1M上训练的表格结构识别模型的预训练权重。
2022年3月23日：我们的论文"GriTS：用于表格结构识别的网格表格相似度度量"现已在arXiv上发布
2022年3月4日：我们发布了在PubTables-1M上训练的表格检测模型的预训练权重。
2022年3月3日："PubTables-1M：面向非结构化文档的全面表格提取"已被CVPR 2022接受。
2021年11月21日：我们更新的论文"PubTables-1M：面向非结构化文档的全面表格提取"已在arXiv上发布。
2021年10月21日：完整的PubTables-1M数据集已在Microsoft Research Open Data上正式发布。
2021年6月8日：表格转换器（TATR）项目的初始版本发布。

PubTables-1M

PubTables-1M的目标是创建一个大型、详细、高质量的数据集，用于训练和评估各种用于表格检测、表格结构识别和功能分析任务的模型。

它包含：

575,305个包含表格的已注释文档页面，用于表格检测。
947,642个完全注释的表格，包括文本内容和完整位置（边界框）信息，用于表格结构识别和功能分析。
所有表格行、列和单元格（包括空白单元格）的完整边界框，以图像和PDF坐标表示，以及其他注释结构，如列标题和投影行标题。
所有表格和页面的渲染图像。
每个表格和页面图像中出现的所有单词的边界框和文本。
当前模型训练中未使用的其他单元格属性。

此外，标题中的单元格经过规范化处理，我们实施了多个质量控制步骤，以确保注释尽可能无噪声。更多详情，请参阅我们的论文。

预训练模型权重

我们为表格检测和表格结构识别提供了不同的预训练模型。 <b>表格检测：</b>

<table> <thead> <tr style="text-align: right;"> <th>模型</th> <th>训练数据</th> <th>模型卡片</th> <th>文件</th> <th>大小</th> </tr> </thead> <tbody> <tr style="text-align: right;"> <td>DETR R18</td> <td>PubTables-1M</td> <td><a href="https://huggingface.co/bsmock/tatr-pubtables1m-v1.0">模型卡片</a></td> <td><a href="https://huggingface.co/bsmock/tatr-pubtables1m-v1.0/resolve/main/pubtables1m_detection_detr_r18.pth">权重</a></td> <td>110 MB</td> </tr> </tbody> </table>

<b>表格结构识别：</b>

<table> <thead> <tr style="text-align: left;"> <th>模型</th> <th>训练数据</th> <th>模型卡片</th> <th>文件</th> <th>大小</th> </tr> </thead> <tbody> <tr style="text-align: left;"> <td>TATR-v1.0</td> <td>PubTables-1M</td> <td><a href="https://huggingface.co/bsmock/tatr-pubtables1m-v1.0">模型卡片</a></td> <td><a href="https://huggingface.co/bsmock/tatr-pubtables1m-v1.0/resolve/main/pubtables1m_structure_detr_r18.pth">权重</a></td> <td>110 MB</td> </tr> <tr style="text-align: left;"> <td>TATR-v1.1-Pub</td> <td>PubTables-1M</td> <td><a href="https://huggingface.co/bsmock/TATR-v1.1-Pub">模型卡片</a></td> <td><a href="https://huggingface.co/bsmock/TATR-v1.1-Pub/resolve/main/TATR-v1.1-Pub-msft.pth">权重</a></td> <td>110 MB</td> </tr> <tr style="text-align: left;"> <td>TATR-v1.1-Fin</td> <td>FinTabNet.c</td> <td><a href="https://huggingface.co/bsmock/TATR-v1.1-Fin">模型卡片</a></td> <td><a href="https://huggingface.co/bsmock/TATR-v1.1-Fin/resolve/main/TATR-v1.1-Fin-msft.pth">权重</a></td> <td>110 MB</td> </tr> <tr style="text-align: left;"> <td>TATR-v1.1-All</td> <td>PubTables-1M + FinTabNet.c</td> <td><a href="https://huggingface.co/bsmock/TATR-v1.1-All">模型卡片</a></td> <td><a href="https://huggingface.co/bsmock/TATR-v1.1-All/resolve/main/TATR-v1.1-All-msft.pth">权重</a></td> <td>110 MB</td> </tr> </tbody> </table>

评估指标

<table> <thead> <tr style="text-align: right;"> <th>模型</th> <th>测试数据</th> <th>AP50</th> <th>AP75</th> <th>AP</th> <th>AR</th> </tr> </thead> <tbody> <tr style="text-align: right;"> <td>DETR R18</td> <td>PubTables-1M</td> <td>0.995</td> <td>0.989</td> <td>0.970</td> <td>0.985</td> </tr> </tbody> </table>

<b>表格结构识别：</b>

<table> <thead> <tr style="text-align: right;"> <th>模型</th> <th>测试数据</th> <th>AP50</th> <th>AP75</th> <th>AP</th> <th>AR</th> <th>GriTS<sub>Top</sub></th> <th>GriTS<sub>Con</sub></th> <th>GriTS<sub>Loc</sub></th> <th>Acc<sub>Con</sub></th> </tr> </thead> <tbody> <tr style="text-align: right;"> <td>TATR-v1.0</td> <td>PubTables-1M</td> <td>0.970</td> <td>0.941</td> <td>0.902</td> <td>0.935</td> <td>0.9849</td> <td>0.9850</td> <td>0.9786</td> <td>0.8243</td> </tr> </tbody> </table>

训练和评估数据

PubTables-1M可从微软研究院开放数据下载。我们还将完整的档案集上传到了Hugging Face。

Microsoft Research Open Data上的数据集包含5个tar.gz文件：

PubTables-1M-Image_Page_Detection_PASCAL_VOC.tar.gz：用于检测模型的训练和评估数据
- /images：575,305个JPG文件；每个页面图像对应一个文件
- /train：460,589个XML文件，包含PASCAL VOC格式的边界框
- /test：57,125个XML文件，包含PASCAL VOC格式的边界框
- /val：57,591个XML文件，包含PASCAL VOC格式的边界框
PubTables-1M-Image_Page_Words_JSON.tar.gz：每个页面图像中所有单词的边界框和文本内容
- 每个页面图像对应一个JSON文件（外加一些未使用的额外文件）
PubTables-1M-Image_Table_Structure_PASCAL_VOC.tar.gz：用于结构（和功能分析）模型的训练和评估数据
- /images：947,642个JPG文件；每个页面图像对应一个文件
- /train：758,849个XML文件，包含PASCAL VOC格式的边界框
- /test：93,834个XML文件，包含PASCAL VOC格式的边界框
- /val：94,959个XML文件，包含PASCAL VOC格式的边界框
PubTables-1M-Image_Table_Words_JSON.tar.gz：每个裁剪后的表格图像中所有单词的边界框和文本内容
- 每个裁剪后的表格图像对应一个JSON文件（外加一些未使用的额外文件）
PubTables-1M-PDF_Annotations_JSON.tar.gz：源PubMed PDF中出现的所有表格的详细注释。所有注释都采用PDF坐标。
- 401,733个JSON文件；每个源PDF对应一个文件

从命令行下载：

用网络浏览器访问数据集主页，点击左上角的下载按钮。这将创建一个从Azure下载数据集的链接，其中包含为您生成的唯一访问令牌，链接形如 https://msropendataset01.blob.core.windows.net/pubtables1m?[SAS_TOKEN_HERE]。
然后，您可以使用命令行工具azcopy通过以下命令下载所有文件：

azcopy copy "https://msropendataset01.blob.core.windows.net/pubtables1m?[SAS_TOKEN_HERE]" "/path/to/your/download/folder/" --recursive

然后使用以下命令在命令行中解压每个压缩包：

tar -xzvf yourfile.tar.gz

代码安装

使用yml文件创建conda环境并激活，步骤如下：

conda env create -f environment.yml
conda activate tables-detr

模型训练

该代码为两组不同的表格提取任务训练模型：

表格检测
表格结构识别 + 功能分析

有关这些任务和模型的详细描述，请参阅论文。

要进行训练，您需要cd到src目录并指定：1. 数据集路径，2. 任务类型（检测或结构），3. 配置文件路径，其中包含架构和训练的超参数。

训练检测模型：

python main.py --data_type detection --config_file detection_config.json --data_root_dir /path/to/detection_data

训练结构识别模型：

python main.py --data_type structure --config_file structure_config.json --data_root_dir /path/to/structure_data

评估

评估代码计算检测模型和结构模型的标准目标检测指标（AP、AP50等）。在运行结构模型的评估时，它还计算表格结构识别的网格表格相似度（GriTS）指标。 GriTS是表格单元格正确性的度量，定义为所有表格中每个单元格的平均正确性。 GriTS可以基于以下几点衡量预测单元格的正确性：1. 仅考虑单元格拓扑结构，2. 单元格拓扑结构和每个单元格报告的边界框位置，3. 单元格拓扑结构和每个单元格报告的文本内容。有关GriTS的更多详细信息，请参阅我们的论文。

计算检测模型的目标检测指标：

python main.py --mode eval --data_type detection --config_file detection_config.json --data_root_dir /path/to/pascal_voc_detection_data --model_load_path /path/to/detection_model

计算结构识别模型的目标检测和GriTS指标：

python main.py --mode eval --data_type structure --config_file structure_config.json --data_root_dir /path/to/pascal_voc_structure_data --model_load_path /path/to/structure_model --table_words_dir /path/to/json_table_words_data

可选地，您可以添加标志来控制并行化、保存详细指标和保存可视化:

--device cpu: 将默认设备从cuda更改为cpu。 --batch_size 4: 控制模型前向传播期间使用的批量大小。 --eval_pool_size 4: 控制GriTS指标计算期间CPU并行化的工作池大小。 --eval_step 2: 控制在将所有样本传递给并行化工作池进行GriTS指标计算之前，要累积的已处理输入数据批次数。 --debug: 创建并保存模型推理的可视化。对于每个输入图像"PMC1234567_table_0.jpg"，这将保存两个可视化:"PMC1234567_table_0_bboxes.jpg"包含模型输出的边界框，"PMC1234567_table_0_cells.jpg"包含后处理后的最终表格单元格边界框。默认情况下，这些保存在当前目录下的新文件夹"debug"中。 --debug_save_dir /path/to/folder: 指定保存可视化的文件夹。 --test_max_size 500: 在随机抽样的数据子集上运行评估。适用于快速验证和检查。

微调和其他模型训练场景

如果模型训练中断，可以通过使用标志--model_load_path /path/to/model.pth并指定包含保存的优化器状态的字典文件的路径来轻松恢复。

如果您想通过微调保存的检查点(如model_20.pth)来重新开始训练，请使用标志--model_load_path /path/to/model_20.pth和标志--load_weights_only来表明恢复训练不需要之前的优化器状态。

无论是微调还是从头开始训练新模型，您都可以选择创建一个具有不同于我们使用的默认参数的新配置文件。使用以下方式指定新的配置文件:--config_file /path/to/new_structure_config.json。创建新的配置文件很有用，例如，如果您想在微调期间使用不同的学习率lr。

或者，配置文件中的许多参数都可以使用相关的标志作为命令行参数指定。作为命令行参数指定的任何参数都会覆盖配置文件中该参数的值。