金融界2023年11月22日消息，据国家知识产权局公告，腾讯科技（深圳）有限公司取得一项名为“多模态预训练模型的训练方法、使用方法、装置和设备”，授权公告号CN116756574B，申请日期为2023年8月。
专利摘要显示，本申请提供了一种多模态预训练模型的训练方法、使用方法、装置和设备，属于人工智能技术领域。方法包括：获取样本图像的第一图块序列信息；将第一图块序列信息输入视觉分词器，得到第一语义特征，视觉分词器为知识蒸馏中的教师网络；对第一图块序列信息所指示的图块序列中的至少一个图块进行掩码，得到第二图块序列信息；将第二图块序列信息输入多模态预训练模型，得到第二语义特征，多模态预训练模型为知识蒸馏中的学生网络；基于第一语义特征和第二语义特征，确定第一损失值，第一损失值用于指示第一语义特征和第二语义特征之间的差距；基于第一损失值对视觉分词器和多模态预训练模型进行训练，提高了视觉分词器和多模态预训练模型的泛化能力。
本文源自：金融界
作者：情报员
扫一扫加微信