简述：视频问答（Video Question Answering, VQA）[1]是一种结合了计算机视觉和自然语言处理的技术，旨在从视频内容中提取信息并回答用户提出的问题。
一、数据收集
1.1、为了构建视频内容的符号表示与知识库，使用图数据库Neo4j来存储和管理视频中的实体及其关系，构建知识图谱，形成结构化的知识表示，为后续推理提供基础，相关教程参考[2]。
1.2视频数据
收集视频：自定义来源收集视频数据。
预处理视频：使用OpenCV或其他视频处理库将视频剪辑成固定长度的片段。使用关键帧提取算法（如基于帧差法、光流法等）提取关键帧。并将视频转换为统一的格式（如MP4）和分辨率，相关教程参考[3]。
存储视频：将处理后的视频片段或关键帧存储在本地文件系统。
1.3问题数据
收集问题：从公开数据集（如VQA数据集）下载问题数据。人工标注与视频内容相关的问题。
预处理问题：去除无关字符，统一大小写。使用NLTK、spaCy等库进行分词使用停用词列表（如NLTK提供的停用词列表）去除常见停用词。使用Lancaster Stemmer等方法将词语还原为其词根形式。相关教程参考[4]。
存储问题：将问题及其对应的视频ID存储在数据库
二、视频特征提取
2.1、处理视频
使用OpenCV读取视频文件，并将其逐帧拆分；接着，对每一帧图像进行预处理，包括缩放至YOLO模型所需的特定尺寸，并对像素值进行归一化处理（通常是将像素值缩放到0到1之间），以确保这些帧符合YOLO模型的输入要求，从而为后续的目标检测任务做好准备。
2.2、物体检测
将预处理后的视频帧输入到YOLO模型中进行目标检测。模型会输出每个检测到的物体的类别、边界框以及置信度[5]。相关教程参考[6]。
2.3使用Faster R-CNN模型对视频中的每一帧进行高效且准确的目标检测。
1、确保环境中已经正确安装并配置了Detectron2库，这是一个基于PyTorch的开源目标检测库，它提供了包括Faster R-CNN在内的多种先进目标检测算法的实现。安装Detectron2通常涉及下载相应的代码仓库，并根据项目的依赖关系安装所需的Python包和库。
2、加载预训练的Faster R-CNN模型。预训练模型是指已经在大型数据集（如COCO数据集）上训练过的模型，这些模型已经学会了识别多种常见物体。通过加载这些预训练模型，我们可以节省大量的训练时间和计算资源，并直接利用这些模型进行目标检测任务。在Detectron2中，加载预训练模型通常涉及到配置文件的读取和模型实例的创建。
3、逐帧读取视频文件。这可以通过OpenCV等视频处理库来实现，它能够方便地读取视频文件并将其拆分成单独的帧。对于每一帧图像，我们将其输入到已经加载好的Faster R-CNN模型中进行检测。模型会输出每个检测到的物体的类别、边界框（即物体在图像中的位置）以及置信度（即模型认为该检测结果是正确的概率）。
4、将检测结果进行符号化处理并存储。符号化处理是指将检测结果转换为一种易于存储和传输的格式，例如JSON或XML。这通常包括将物体类别、边界框坐标和置信度等信息转换为相应的字符串或数字表示。同时，为了后续的处理和分析，还需要将这些符号化的检测结果中的分类结果和位置等信息进一步转化为特定的符号表示，如使用唯一标识符来标记每个检测到的物体，或将其位置信息转换为相对于某个参考点的偏移量等。并将其存在数据库中。
5、论文和代码参考[7]。进行目标识别的交叉参考[8]，目标检测论文合集[9]。
三、问题理解
3．1使用BERT语言模型对问题文本进行词法、句法分析和语义理解：BERT通过在大规模语料上进行预训练，学习到了语言的内在结构和语义信息。在预训练过程中，BERT采用了两种无监督任务：Masked Language Model（MLM）和Next Sentence Prediction（NSP）。MLM任务通过随机屏蔽一些单词，并让模型根据上下文来预测这些被屏蔽的单词，从而学习到单词的嵌入表示[10]。相关教程参考[11]，其步骤如下：
1、输入处理：首先，将问题文本进行分词处理，生成一系列的token（词元）。BERT通常使用WordPiece或SentencePiece算法进行分词。然后，为每个token添加位置编码和段落编码（或称为句子编码）。位置编码用于表示token在句子中的位置，而段落编码用于区分不同的句子（在处理句子对时尤为重要）。最后，将这些编码相加，得到每个token的最终表示。
2、模型编码：将处理好的token序列输入到BERT模型中。BERT模型通过多层Transformer Encoder结构对token序列进行编码，每一层都包含自注意力机制和前馈神经网络。在编码过程中，模型会捕捉到token之间的依赖关系和句子的语法结构。
3、词法分析：通过查看模型输出的token表示，可以推断出每个token的词性。例如，可以利用预训练的词性标注器或基于BERT的自定义模型来进行词性标注。由于BERT已经学习到了丰富的词汇知识和语法结构，因此它能够为每个token提供准确的词性信息。
4、句法分析：句法分析通常涉及对句子中单词之间的依存关系进行建模。虽然BERT本身并不直接输出依存关系树，但可以利用BERT的编码表示作为特征输入到依存关系解析器中。依存关系解析器会根据BERT提供的特征信息，推断出句子中每个单词之间的依存关系，从而生成依存关系树。通过对依存关系树的分析，可以了解句子的语法结构和单词之间的句法关系。
使用RNN、LSTM、GRU或Transformer等模型对词嵌入向量进行编码，生成问题的向量表示，并将编码后的问题向量存储在文件或数据库中。
3.2 使用Transformer模型对词嵌入向量进行编码，生成问题的向量表示，并将编码后的问题向量存储在文件或数据库中，这一过程包括：首先对问题文本进行预处理（如分词、去除停用词等），然后将预处理后的文本转换为词嵌入向量；接着，将这些词嵌入向量输入到Transformer模型中，通过自注意力机制捕捉文本的上下文信息，生成能够准确反映问题含义的向量表示；最后，将生成的问题向量存储在文件或数据库中，以便后续的任务如视频问答、文本分类等能够高效地访问和使用这些向量。相关解释和教程参考[12]。
四、视觉语言融合
使用Co-Attention机制来对齐和融合视觉和文本特征，首先分别提取视频的视觉特征和问题的文本特征，然后计算这两种特征之间的亲和力矩阵，基于该矩阵生成视觉和文本的注意力权重，接着使用这些权重对视觉和文本特征进行加权，最后将加权后的特征向量融合，生成一个综合的多模态特征向量，从而有效捕捉视频内容和问题之间的关联，为推理做准备。相关参考见教程[13]。
五、推理与答案生成
5.1 使用Drools根据知识图谱中的符号知识和融合后的特征进行逻辑推理[14]。
使用Drools根据知识图谱中的符号知识和融合后的多模态特征进行逻辑推理，首先由领域专家或开发者定义一系列“IF-THEN”形式的规则，并将这些规则存储在Drools规则库中；接着，Drools推理引擎接收从视频和问题中提取的多模态特征（如视觉特征和文本特征）以及知识图谱中的符号知识（如实体、属性和关系）作为输入事实；然后，推理引擎遍历规则库，检查哪些规则的条件部分（IF部分）与输入的事实相匹配；一旦找到匹配的规则，推理引擎就会应用这些规则，推导出新的结论或中间结果（THEN部分）；推理过程可以递归地进行，直到没有更多的规则可以匹配或达到预定的终止条件；最终，Drools生成具体的答案或推理结果，这些结果可以是具体的实体、关系描述或自然语言文本，从而实现基于符号知识和多模态特征的复杂逻辑推理。相关教程参考[15]。
5.2（与5.1并列）也可以使用图神经网络（GNN）对知识图谱进行推理，挖掘实体间的潜在关系，首先将知识图谱表示为图结构，其中节点代表实体，边代表实体之间的关系；然后，GNN通过消息传递机制在节点间传播信息，更新每个节点的表示，从而捕捉到节点（实体）之间的复杂关系；GNN通过多层迭代，逐步聚合邻居节点的信息，生成包含丰富上下文信息的节点嵌入；这些嵌入不仅反映了节点本身的属性，还包含了其邻近节点的影响，从而能够揭示知识图谱中未显式表示的潜在关系；最终，GNN可以用于预测缺失的边、发现隐含的关系或进行其他形式的推理任务，从而增强对知识图谱中实体间关系的理解和应用。相关叙述参考[16]。
5.3答案生成
使用Transformer模型来生成自然语言答案，首先将融合后的多模态特征（如视觉特征和文本特征）以及从知识图谱中提取的相关信息作为输入，然后通过Transformer的自注意力机制捕捉这些输入之间的复杂关系和上下文信息；模型通过多层自注意力和前馈神经网络层逐步处理这些信息，生成一个富含语义的上下文表示；接着，Transformer的解码器部分基于这个上下文表示逐步生成自然语言答案，每次生成一个词，直到生成结束符为止；整个过程中，Transformer利用其强大的序列建模能力和上下文理解能力，生成连贯、准确且自然的文本答案，将其提供给用户。相关教程参考[17]。

要求我后期构建简单的分子电
路 然后在连接成加法器然后弄一个
信号模拟之类 不用很复杂的那种

我想在自己的代码中添加简答题评分的，如果能加智能阅卷的就好，如果不行的话，就做个主
观题手动评分

链接：https://pan.baidu.com/s/16-8swJnWF3C-TggvBr3ecQ?pwd=grzk
提取码：grzk这是项目，需代写论文 重查20 8000字

原始数据(两个前端，一个是自主爬取的前端，一个是离线数据动态释放)→按照平台、信息分类一进行动态聚类分析→动态展示类的形成与消散【备注，能够根据一个类进行细节分析，重点绘制基于词的时空演化视频】
1.用户管理功能
2.爬取数据功能←
3.离线上传数据功能←
4.根据数据集，按平台、按全网进行话题聚类←
5.根据数据动态融入，动态更新聚类结果(刷新功能)，
6.针时某一类(可选某一类的功能)展示聚类按时间的演化过程(生成-扩大-消散)
7.针对某一类中的关键词(可选某一类的功能)展示词按时间的演化过程
8.数据集(清博)←
9.主题提取(聚类)模型可采用动态主题模型，BERTTopic，Top2Vec等:

具体需求需要和甲方商量

任务要求学生独立调研，设计出能够对电子邮件进行自动解析、自动分类的系统软件。具体的功能模块如下。电子邮件解析模块功能，能够将电子中的文本内容自动解析出来
文本分词功能，能够将解析出的文本进行分词(最基本的要求以单字为基础进行分词，鼓励调用第三方软件进行分词)。
文本相似度计算功能，即向量距离计算，对分词后的向量进行距离计算。
向量分类功能，根据向量与分类标准之间的距离进行分类。
也可使用AI方法进行分类。

就是一个保险单内容关键内容识别，然后更新表格。有详细资料可以进行评估

需求
用户管理，农产品管理，物流管理，订单管理
数据分析和可视化:能够做出热销商品热词，销
量分布

用Javaweb设计一个学生成绩管理系统，实现学生、管理员、教师三方登陆。
1.学生端
管理个人信息（可以修改电话和密码）、查询成绩（可以根据输入的学期查询该学生的学科成绩）
2.管理员端
学生管理：进行增删改查学生信息(学号姓名班级性别电话)、教师管理：进行增删改查老师信息（工号姓名性别电话）、班级管理：进行增删改查班级号和班级名。
3.教师端
管理个人信息（可以修改密码和电话）、学生成绩管理：可以增删改查成绩（学号课程名成绩学期）、查看全年级成绩排行：输入学期可以看到每一位学生的总成绩和每项科目的成绩并且根据总成绩进行排名、根据班级查看成绩排行：输入班级和学期可以看到该学期每一位学生的总成绩和每项科目的成绩并且根据总成绩进行排名。
补充：1. 选课
学生端在选课中另有三项:自主选课、个人课表查询、班级课表查询。选课只选选修课，所以个人课表就是公共+选修，班级课表只有公共课，管理员端口在班级管理下增加选课管理选项，它拥有增删改查选课名单的权限、并能设置何时开放网页供学生们报名。
2.成绩分析
查询成绩中添加一项成绩分析，根据班里科目的平均分、最高分、最低分等指标对学生该科目的成绩进行分析，并且每个人科目成绩按照分数段给出成绩分析（60-70、70-80……）并提供一些学习建议。
3.微信登录+QQ登陆
在登陆界面设计微信登陆，三方（学生教师管理员）端口第一次使用微信登陆时需要账号与微信（QQ）绑定，登陆时会有提示框。
4.通知公告
添加首页一栏，首页中增加通知公告，并且要求当登陆成功进入成绩管理系统时，优先展示首页图。管理员端口在班级管理栏下面增加一栏通知公告管理，拥有编辑通知公告的权限。
5.数据安全(不作为功能，但是我不太懂，想知道怎样体现出我的数据不会被他人盗用)