Linux下搭建rdp/ssh客户端+easyconnect环境 远程连接实验室服务器 为了学习Linux以及方便开发,在电脑上装了Ubuntu系统,但是平常也需要连接到实验室的多卡服务器上跑代码,所以配置了Ubuntu上通过RDP远程连接的环境。但是校园网一直都慢慢的,也不一定连得上,不如通过代理连接,我学校用的是EasyConnect,于是也花了几天都将其配置好了,记录如下。 2022-10-16 Ubuntu EasyConnect Remmina WindTerm
End-to-end Generative Pretraining for Multimodal Video Captioning 论文笔记 本文是一篇来自Google的CVPR2022论文, 本文提出了一个大规模多模态预训练框架,与其他基于MLM、MFM、VTM和排序的方法不同,其采用生成式任务进行预训练,这样能够更好地适配Video Captioning这样的生成式任务。具体来说本文提出的训练任务是通过视频中ASR识别的上一句来预测下一句(或相反),实验表明这种方式在多个数据集上SOTA。 2022-10-12 论文笔记 Video Captioning MV-GPT
GIT A Generative Image-to-text Transformer for Vision and Language 论文笔记 Arxiv上Preprint的一篇微软的论文,结构比较简单(或者叫通俗),用Image Encoder先编码图像,然后图像和文本在一个类BERT的模型中训练,没有对视频做特别的优化,但在各个任务上都SOTA。 2022-10-11 论文笔记 Video Captioning GIT
SwinBERT End-to-End Transformers with Sparse Attention for Video Captioning 论文笔记 这是CVPR2022的一篇来自微软的论文,他们使用自家的SwinTransformer,提出了一种进行Video Captioning任务的End-to-End的网络。这个网络没有利用多模态特征,只使用了经过运动数据集预训练得到的Swin来提取特征。 2022-10-10 论文笔记 Video Captioning SwinBERT
Open-book Video Captioning with Retrieve-Copy-Generate Network论文笔记 这是一篇CVPR2021的论文,其提出了一种参考复制语料库中句子的**open-book**模块来进行Video Captioning任务。这种机制会先进行video-to-text的跨模态检索任务,从语料库中找到接近的top-N条文本,然后通过结合类似Point Network的复制机制来生成最终的语句。 2022-09-30 论文笔记 Video Captioning Pointer Networks
Pointer Networks论文笔记 这篇NIPS2015的论文主要提出了一个针对Seq2Seq结构改进的网络——**Ptr-Net**:其通过类似Seq2Seq的形式预测出一个指向之前输入的指针,并将这个位置的输入作为下一步的输入。也就是说,Ptr-Net的输出完全来源于输入,是一个copy-paste的结构。 2022-09-28 论文笔记 Pointer Networks Seq2Seq
在Hexo中显示你的发文折线图 在GitHub敲代码的时候,看见Profile里的Contributions统计图就会获得一股成就感,而Hexo中却没有这种功能,作为一个对前端一无所知的coder,最近现学现卖做了个实时同步的发文统计图。 2022-09-09 技术杂文 Hexo JavaScript Severless GitHub API
机器学习中常用指标避坑 在进行机器学习的过程中有一些经常用到的指标,然而有的时候可能因为代码写错了导致几个指标互相矛盾(最简单的比如Accuracy大于100%),这篇文章草草列出一些检查的方法。 2022-09-08 技术杂文 机器学习
Generative Cooperative Learning for Unsupervised Video Anomaly Detection论文笔记 这篇论文是CVPR2022的一篇无监督视频异常检测的文章。这篇文章提出了Generative Cooperative Learning (GCL) ,其包含一个辨别器和一个生成器,它们进行合作式的互相学习来实现无监督学习。 2022-09-05 论文笔记 视频异常检测 无监督学习
One Class Classification算法简单介绍 One Class Classification (OCC) 是异常检测 (anomaly detection) 的一种常用方法,其只使用正常的数据来训练,训练后能够区分正常值和非正常值 (outlier)。 2022-09-04 技术杂文 one_class_classification