计算机视觉基础入门课程（从算法到实战应用）

lesson22笔记- 深度学习在序列数据中的应用 之 光流

1.序列分析的另外的方法:  光流 optical flow

光流, 是空间运动物体在观察成像平面上的像素运动的瞬时速度.

2. 光流计算:

寻找上一帧 和当前帧之间存在的对应关系, 

计算出相邻帧之间物体的运动信息.

动作识别:  raw frames + optical flow ,分别训练cnn feature, 进而feature aggregation(pooling/ lstm), 最后叠加两个.

动作识别 -> 原始图片+光流, 是比较共识的好的架构.

3. Flownet,  来大幅提高 光流计算缓慢的问题.

FlowNetSimple : conv 多个 -> refinement 网络(有hybird)  -> prediction

FlowNetCorr:  2个分支conv -> corr合并 -> conv多个 -> refinement网络(有hybird) -> prediction

refinement网络:  deconv(扩大)

4. flownet 代码地址 

flownet就是逼近传统光流计算.