方法，这对于评估文本之间的相似程度至关重要。

非结构化文本数据通常非常稀疏，即包含大量的词汇但每个文档只使用其中的一小部分。而结

构化数据则可以通过合并相似信息来降低数据的稀疏性，这有助于生成更加紧凑和有效的嵌入向

量。

结构化数据可以实现更高效的特征提取。结构化数据通常已经按照特定的模式或结构进行了组

织，这使得我们可以更加高效地从中提取有用的特征（如标题、作者、摘要、关键词等）。这些特

征可以作为后续 Embedding 的输入，帮助生成具有更强区分性和泛化能力的嵌入向量。结构化数据

中的元素（如主题、类别、属性等）通常具有明确的含义，这些含义可以在 Embedding 过程中被保

留下来。因此，基于结构化数据的嵌入向量往往具有更强的解释性，有助于我们更好地理解模型的

预测结果和内部机制。

3.4 本章小结

本章介绍了研究所选文献数据的获取来源和途径。通过 Python 爬取的方式获取大部分文献数

据与元数据，对元数据进行基本处理，为后续分析提供帮助，丰富向量知识库的数据储备。随后为

了最大程度提高向量知识库的可信程度，对文献数据进行筛选，选出带有流程图，数据，输入输出

的英文文献，作为最后使用的数据。精细筛选后，使用 Unstructured 库进行数据预处理使其转化

为结构化数据。

向量知识库

向量知识库是一个高效、结构化的数据存储系统，它将各类数据（如文本、图像、音频等）转

化为向量形式进行存储。这种表示方式使得数据之间的相似性和关联性得以量化，从而支持更为精

确和高效的信息检索与数据分析。向量知识库使用特殊的数据结构和索引方法来优化查询效率，可

以快速地查询和计算相似度，支持高效的数据查询。这种表示方式使得向量知识库能够有效支持近

似搜索，即在巨大的数据集中快速找到与查询最为接近的项。同时，向量知识库不受传统关系型数

据库模式的限制，提供了更大的灵活性。它们能够处理多种类型的数据，包括文本、图像、音频和

视频等非结构化数据。这种灵活性使向量知识库成为了人工智能和机器学习应用的理想选择。此