一种基于概率图和ViT模型的图片分类方法

价格面议

本发明涉及一种基于概率图和ViT模型的图片分类方法，属于计算机视觉图片分类技术领域，将多头注意力机制从概率论的角度进行建模，将多头注意力中的attention value看作隐变量，利用概率图模型的Explainingaway Effects以及Transformer的层级结构，将attention logits层层传递，并将相邻层的值进行融合，促进不同头部之间的交互。本发明针对普通Vision Transformer模型中多头注意力机制头部参数的冗余问题，将多头注意力机制建模为概率图模型，将注意力值看作隐变量，促进不同注意力头部之间的交互。