首页 AI学术青年与开发者社区
从NLP到CV+NLP: 计算机视觉和自然语言处理结合介绍 猿桌会 | 第42期
此次公开课将会介绍目前自然语言处理的发展进程,然后会和大家探讨自然语言处理和计算机视觉结合的问题
开课时间:2018/01/31 20:00 预计时长:一个小时左右
课程回放
699人报名
观看回放

http://www.voidcn.com/article/p-zxvegkbr-bnn.html

 

news.hexun.com/2016-08-08/185382572.html

 

www.jiqizhixin.com/articles/2017-10-31-6

 

http://www.zhuanzhi.ai/knowledge/9fc760c56299ce049557cf1abaeaf72d

[展开全文]

一、

AI Artificial Inteligence

NLP Natural Language Processing

核心方法:

ML Machine Learning

NN Neural Network

DL Deep Learning(ML的子集)

ML机器学习,DL深度学习,NN神经网络

深度学习在CV的应用:

深度学习在NLP的应用:RNN模型用作机器翻译,CNN模型广泛用于文本分类、关系提取。

 

RNN 是序列模型,递归、反馈历史信息

RNN在Language Model中的角色:擅长序列问题预测

CNN卷积神级网络:卷积层、池化层、全连接层

二、CV+NLP

应用:

图像到文本(类似翻译):Image Captioning

文本到图像():Text to Image synthesis

检索(基于文本检索图像,基于图像检索文本,对文本整体理解,各个描述之间的关系,不仅要理解文本还要理解图像):Cross-modal retrieval

论文http://openaccess.thecvf.com/content_ICCV_2017/papers/Gu_An_Empirical_Study_ICCV_2017_paper.pdf  生成对图像的描述,通过文本描述对图像分类

LSTM Long Short-Term Memory : 

Long:对恒源历史信息进行建模

Short-Term:与前一个词相关,对紧靠的词处理

Memory:有记忆功能,能记住一些历史信息

Long-Term 和Short-Term是矛盾的

CNN修改可做Language Model:Lgnguage CNN

通过学把Long-Term 和Short-Term分开

三、CV+NLP+Reinforcement Learning

paperuri:(86c3e4753070511c12bdecdfc3231c9f)

Coarse-to-Fine 由粗到细的过程,生成与描述

Attention 

四、CV+NLP+Cross-Modal Retrieval多模态检索

paperuri:(6307879ab38cf9a49fe49cf30661fecc)

所见所想所真

Image-to-Text Retrieval 

Text-to-Image Retrieval  GAN

 

[展开全文]

授课教师

新加坡南洋理工大学 博士
微信扫码分享课程