Kamino
  • 首页
  • 归档
  • 分类
  • 标签
  • 关于
  • 友链
  •   
  •   
Ka_

End-to-end Generative Pretraining for Multimodal Video Captioning 论文笔记

本文是一篇来自Google的CVPR2022论文, 本文提出了一个大规模多模态预训练框架,与其他基于MLM、MFM、VTM和排序的方法不同,其采用生成式任务进行预训练,这样能够更好地适配Video Captioning这样的生成式任务。具体来说本文提出的训练任务是通过视频中ASR识别的上一句来预测下一句(或相反),实验表明这种方式在多个数据集上SOTA。

2022-10-12
论文笔记
Video Captioning MV-GPT

GIT A Generative Image-to-text Transformer for Vision and Language 论文笔记

Arxiv上Preprint的一篇微软的论文,结构比较简单(或者叫通俗),用Image Encoder先编码图像,然后图像和文本在一个类BERT的模型中训练,没有对视频做特别的优化,但在各个任务上都SOTA。

2022-10-11
论文笔记
Video Captioning GIT

SwinBERT End-to-End Transformers with Sparse Attention for Video Captioning 论文笔记

这是CVPR2022的一篇来自微软的论文,他们使用自家的SwinTransformer,提出了一种进行Video Captioning任务的End-to-End的网络。这个网络没有利用多模态特征,只使用了经过运动数据集预训练得到的Swin来提取特征。

2022-10-10
论文笔记
Video Captioning SwinBERT

Open-book Video Captioning with Retrieve-Copy-Generate Network论文笔记

这是一篇CVPR2021的论文,其提出了一种参考复制语料库中句子的**open-book**模块来进行Video Captioning任务。这种机制会先进行video-to-text的跨模态检索任务,从语料库中找到接近的top-N条文本,然后通过结合类似Point Network的复制机制来生成最终的语句。

2022-09-30
论文笔记
Video Captioning Pointer Networks

Pointer Networks论文笔记

这篇NIPS2015的论文主要提出了一个针对Seq2Seq结构改进的网络——**Ptr-Net**:其通过类似Seq2Seq的形式预测出一个指向之前输入的指针,并将这个位置的输入作为下一步的输入。也就是说,Ptr-Net的输出完全来源于输入,是一个copy-paste的结构。

2022-09-28
论文笔记
Pointer Networks Seq2Seq

在Hexo中显示你的发文折线图

在GitHub敲代码的时候,看见Profile里的Contributions统计图就会获得一股成就感,而Hexo中却没有这种功能,作为一个对前端一无所知的coder,最近现学现卖做了个实时同步的发文统计图。

2022-09-09
技术杂文
Hexo JavaScript Severless GitHub API

机器学习中常用指标避坑

在进行机器学习的过程中有一些经常用到的指标,然而有的时候可能因为代码写错了导致几个指标互相矛盾(最简单的比如Accuracy大于100%),这篇文章草草列出一些检查的方法。

2022-09-08
技术杂文
机器学习
Generative Cooperative Learning for Unsupervised Video Anomaly Detection论文笔记

Generative Cooperative Learning for Unsupervised Video Anomaly Detection论文笔记

这篇论文是CVPR2022的一篇无监督视频异常检测的文章。这篇文章提出了Generative Cooperative Learning (GCL) ,其包含一个辨别器和一个生成器,它们进行合作式的互相学习来实现无监督学习。

2022-09-05
论文笔记
视频异常检测 无监督学习

One Class Classification算法简单介绍

One Class Classification (OCC) 是异常检测 (anomaly detection) 的一种常用方法,其只使用正常的数据来训练,训练后能够区分正常值和非正常值 (outlier)。

2022-09-04
技术杂文
one_class_classification
Endnote 20 下载资源

Endnote 20 下载资源

Endnote 20 下载资源 链接:https://pan.baidu.com/s/1J_trId1ErzHPPpusQ9Cnxg 提取码:zkpg 安装选择试用,安装完后用crack的文件替换即可。

2022-09-04
软件资源
Endnote20 文献管理
1…89101112…18

搜索

Hexo Fluid
本站安全运行 1600 天 19 小时 12 分 59 秒
总访问量 69768 次 总访客数 43894 人