• 香港特马资料铁算盘第四章关键参考帧选择技术和基于边界的时域错

  • 发布日期:2019-09-29 21:58   来源:未知   阅读:

  第四章关键参考帧选择技术和基于边界的时域错谩随藏算法基于反馈的关键参考帧选择算法因为包括 在内的现夸大多流行的视频编码都采用运动补偿编码来提高压缩效率 常规慵况下 帻之后是一系列 这种机制对差锆及其敏感任何数据包丢失都会打破预测链并影响所有的后续 帧。这里用一个简单实验来说明帧出错引起的差错在时域上

  第四章关键参考帧选择技术和基于边界的时域错谩随藏算法基于反馈的关键参考帧选择算法因为包括 在内的现夸大多流行的视频编码都采用运动补偿编码来提高压缩效率 常规慵况下 帻之后是一系列 这种机制对差锆及其敏感任何数据包丢失都会打破预测链并影响所有的后续 帧。这里用一个简单实验来说明帧出错引起的差错在时域上的传播 匠函习露藤藤辅大学显示中心车南丈掌显示中心 末商丈学显示十圈差错墨爵域上的扩散 给出了格式的 序列在解码过程中第 出现错误后后续帧受错误扩散影响的情况由于第 帧作为参考帧进行帻间预测编码经过帧问预测解码产生了较大失真 并将错误继续的扩散到后续帧 如果没有新的传输错误产生 后续帧受错误扩救的影响程度会有所降低 但是受错误扩散影响的区域面积会进一步扩大 从解码图像第 可以看出。一般而言。在不采取任何差错控制的情况下帻宏块的运动性越强、错误扩做速度越快 错误扩敝带来的视频质量下降也越严重。因此为了提高视频通信的服务质量 提出了众多差错控制技术… 。其中一种有教手段便是选择合适的参考帧 使得解码器可阻利用已经接收到的正确信息作为预涮 从而达到阻止差错扩救的目的。基于反馈的参考帧选择 叫叫思想是编码器通过反馈信道得到解码嚣的丢失情况。在编码下一个帧时选用已被解码嚣正确接收的较早的帧作为参考帧 该方法后被 模式所采纳等在文献【 中提出了以 帧作为关键参考帧的预测编码思想 如图 所示每个 帧均以 帧作为参考帧 由于每个 帧不再以前一个 帧作为参考帧 帧被正确接收即使 帧数据出错 也不会造成差错扩散 这种方法虽然可以有教地阻止差错的扩散 但过多地插入关键帧 导致数据量过大编码效率降低 关键参考帧问隔过大时 则视频话误会扩散较长时阃才能恢复 且预测间隔拉太。预测效果较羞。东南大学硕士学位论文图 帧作为关键参考帧的编码示意图为此 本文扩展了有反馈信道 的概念 引入文献 】类似的关键参考帧概念 提出了一种新的基于关键参考帧的有反馈关键参考帧选择 方法 通过关键帧的选择 来阻止关键参考帧之间的差错扩散。如图 所示的有反馈信道的关键参考帧选择编码方法。粒嗍一却咖轴帧内曼码帧关键塾考帧普通 间纛误错黧复帧内编码帧关键参考帧普通帧间出现错误错误恢复帧间编码帧编码帧图 有反馈信道的关键参考帧选择编码示意图在视频序列中设置特定的关键参考帧 关键参考帧只通过 帧或前一个关键参考帧来预测 因此 在两个关键参考帧间隔内出现的差错 只能在这个间隔中扩散 而不会扩散到下一个关键参考帧 这样既提高了抗差错能力 又避免了大量插入 帧而导致的视频质量下降。编码器根据信道丢包率和编码参数 确定当前帧的参考帧是选择普通的 还是前一个关键参考帧。如果使用前一个关键参考帧来预测则当前帧成为一个新的关键参考帧 如果它采用前一个 帧作为参考帧 则它成为一个普通 帧。在有反馈信道的条件下 关键参考帧类型图像选择的是当前帧之前的正确接收的关键参考帧类型图像作为参考帧 从而可以在关键帧位置实现错误恢复。在使用关键参考帧模式的情况下 具体的编码方法如下 。对第一帧图像采取帧内编码方式进行编码 并标记为关键参考帧类型。帧内编码方式与 已定义的 帧编码相同。 对第一帧图像之后的图像可以采取两种不同的帧类型进行编码 一种是关键参考帧类型 一种是非关键参考帧类型。 对于非关键参考帧类型 采取 已定义方法进行编码 例如 对于关键参考帧类型图像的编码可以采取帧内编码方式 也可以采取帧间编码方式。 对于帧内编码方式 关键参考帧类型图像的编码方法与 已定义的 帧一样。 对于帧间编码方式 关键参考帧类型图像的参考图像只能是当前帧之前的一个关键参考帧类型图像。特别是在有反馈信道的条件下 关键参考帧类型图像可以选择当前帧之前的正确接收的关键参考帧类型图像作为参考帧 从而可以在关键帧位置实现错误恢复。基于反馈的关键参考帧选择算法的流程图如下 第四章关键参考帧选择技术和基于边界的时域错误隐藏算法为了实现以上算法 必须在现有的 框架上增加一个关键参考帧存模块 以及一个关键参考帧选择开关。 基于边界的时域错误隐藏算法从错误隐藏算法可以看出图像的恢复效果在很大程度上取决于图像本身的像素灰度值得分布情况。如果图像灰度分布均匀 则像素之间的相关性比较强 这在主观感受中表示平坦区。对于平坦区的出错宏块 传统的错误隐藏算法可以取得比较理想的图像恢复效果。但是 实际应用中 大部分图像并非由纯粹的大面积平坦区构成 必然会有许多宏块存在着边界。对于存在边界的宏块 传统的时域错误隐藏算法容易引起恢复块模糊 文献【 】中的边缘估计方法可以估计多个边缘在存在边缘的区域对边缘和不同子块内容分别进行恢复 具有较好的错误隐藏效果。 常用的边缘检测算子物体边缘是以图像的局部特征不连续的形式出现 即是指图像局部亮度变化最显著的部分 例如灰度值的突变、颜色的突变、纹理结构的突变等。同时物体的边缘也是不同区域的分界处。边缘具有边界幅度和边界方向两个特征 图像的灰度值沿边缘方向的变化比较平缓而在垂直于边缘方向的灰度变化剧烈。人们对于边缘模糊或失真非常敏感。因此 需要重点考虑包含边缘的出错宏 保证恢复边界的完整性。另一方面 图像相邻象素之间具有很强的相关性 因此 利用受损宏块周围正确解码的象素 可以对受损宏块周围的象素进行空间相关性分析 提取出受损宏块周围边缘的存在及其分布信息。利用边缘检测来分割图像 其基本思想就是先检测图像中的边缘点 再按照某种策略将边缘点连接成轮廓 从而构成分割区域。由于边缘是所要提取目标和背景的分界线 提取出边缘才能将目 东雨大学硕士学位论文标和背景区分开 因此边缘检测技术 】对于数字图像十分重要。图像中物体边界上的象素点 其领域是一个灰度级变化带。衡量这种变化最有效的两个特征就是灰度的变化率和变化方向 它们分别用梯度向量的幅值和方向来表示。对于图像 其方向导数在边缘 法线 方向上有局部最大值。因此 边缘检测就是求 梯度的局部最大值和方向。已知 方向沿的梯度定义如下 孚达到最大值的条件是掣这样可以推导出 因此我们可以得出 象素点 处的梯度幅度为 厄而万可万再…………一般称之为梯度模。梯度模算子具有位移不变性和各向同性的性质 变化的方向 即边界的方向则可由式 得到。 适用于边缘检测 而灰度 在实际应用中为了简便 一般将梯度以微分算子的形式表示 方向上的变化率。但是要对周围的每一个像素进行这样的运算运算量很大。所以在实际中采用小型模板利用卷积来做近似计算 方向和方向分别使用一个模板 这种实现方法可以得到快速而有效的处理。传统的边缘检测方法基于空间运算 借助空域微分算子进行。通过将算子模板与图像进行卷积合成。根据模板的大小和元素值的不同有不同的微分算子 算子、算子、 算子、拉普拉斯算子、 算子等 下面将具体介绍各算子的模板。对于离散图像来说 算子是一种最简单的算子 是一种利用局部差分算子寻找边缘的算子 它采用对角线方向相邻两像素之差近似梯度幅值检测边缘。检测垂直边缘的效果好于斜向边缘 定位精度高 对噪声敏感。 算子的模板如图 所示。 算子模板算子是滤波算子的形式 用于提取边缘。图像中的每个点都用图 所示的两个模板做卷积 第一个模板对垂直边缘的影响最大 第二个模板对水平边缘影响最大两个卷积的最大值做为该点的输出 运算结果是一幅边缘幅度图像 算子对噪声具有平滑作用 可以提供较为精确的边缘信息 但它同时也会检测出许多的伪边缘 边缘定位精度不够高。当对精度要求不是很高时 是一种较为常用的边缘检测方法一 算子模板算子与 算子相同。图像中的每个点都用图 所示的两个模板作卷积 并且取最大值作为输出 结果是一幅边缘幅度的图像。该算子对噪声有抑制性作用。一 第四章关键参考帧选择技术和基于边界的时域错误隐藏算法图算子模板 边缘检测的算法是通过寻找图像梯度的局部极大值 梯度是用高斯函数的一阶微分来计算的其算法的实质是用一个准高斯函数作平滑运算 然后以带方向的一阶微分定位导数最大值。在 方法中 通过两个阈值来分别检测强边缘和弱边缘 当且仅当弱边缘与强边缘连接时 弱边缘才被输出。 算子比 算子、香港特马资料铁算盘, 算子和 算子极小值算法的去噪能力都要强 能够在噪声和边缘检测间取得较好的平衡 能够检测到真正的弱边缘。从以下的 个标准意义来说 边缘检测算子对受白噪声影响的阶跃型边缘是最优的。 检测标准 不丢失重要的边缘 不应有虚假的边缘 定位标准 实际边缘与检测到的边缘位置之间的偏差最小 单位响应标准 将多个响应降低为单个边缘相应。 算子的实现步骤如下 首先用二维高斯滤波模板与原始图像进行卷积 以消除噪声。 然后利用导数算子找到图像灰度沿着两个方向的倒数 并求出梯度的大小 计算出梯度的方向。 求出了梯度的方向之后 就可以把边缘的梯度方向大致分为 度方向并可以找到这个像素梯度方向的领接像素。 接下来 需要遍历图像 若某个像素的灰度值与其梯度方向上前后两个像素的灰度值相比不是最大的 那么将这个像素值置为 即不是边缘。 最后使用累计直方图计算两个阈值 凡是大于高阈值的一定是边缘 凡是小于低阈值的一定不是边缘。如果检测结果在两个阈值之间 则根据这个像素的邻接像素有没有超过高阈值的边缘像素 如果有 则它就是边缘 否则就不是。拉普拉斯算子是一种二阶导数算子。它通过寻找图像灰度值中二阶微分中的过零点来检测边缘点。具体的检测原理是 灰度缓变形成的边缘经过微分算子形成一个单峰函数 峰值位置对应边缘点 对单峰函数进行微分 则峰值处的微分值为 峰值两侧符号相反。而原先的极值点对应二阶微分中的过零点。通过检测过零点即可将图像的边缘提取出来在实际中 为了去除噪卢影响首先要用高斯函数对图像进行滤波 然后对滤波后的图像求二阶导数。为了运算的方便 拉普拉斯算子也是通过模板来实现。常用的模板如图 所示 拉普拉斯算子模板上文介绍了主要的边缘检测算子它们的检测效果有所不同。在实际应用中 我们需要结合具体的情况来选择。 算子由于在计算出梯度方向后 还需要计算梯度方向上的相邻像素差值 然后通过一系列的判断条件来判别是否为边界点 因此计算量很大 不适合应用到错误隐藏算法中 拉普拉斯算子 是通过寻找二阶导数的零交叉点来寻找边缘 一阶导数对噪声已经很敏感 二阶导数对噪声就会更加敏感 因而更不稳定。在实际应用过程中 图像传输时不可避免地会带来噪声 因此 拉普拉斯高斯算子也不适合应用于视频错误隐藏算法研究。综上所述 此试验主要比较 算子。未加噪声之前试验结果如图 所示 仅采用 算子已经明显看出得不到较好的边缘检测效果某些边缘处不连续 一些边缘点没有检测出来。而相对较复杂的 算子和算子检测效果较好。 东南大学砸士学位论文阻 原图 算子 算子 基如蚓“所示方框标出的部分可以看出 算于检测的效果略好于 算子 因此在基于边缘检测的错误隐藏算法中 我们采用 算子。 算子圈 击加噪声试验结果 基于边缘检测的时域错误隐藏算法 节中介绍的时域错误隐藏算法都是基于出错宏块和周围像素运动一致的假设利用出错宏块周围的正确接收的宏块对丢失的运动矢量进行恢复 或者是在运动矢量候选集中选取一个运动矢量 或者是采用解码端运动矢量重新估计的方法。但是 在图像内容和运动都比较复杂的视频图像中 出错宏块和周围像素的运动一致性并不总是成立 存在边界的宏块往往包含两个或多个物体的局部区域 对于包含边界的宏块 用一个运动矢量描述其运动特征的恢复效果并不好。本文所采用的是基于边缘检测的时域错误隐藏算法口 首先利用恢复出的边界把宏块划分为两个子块 然后对各千子块分别进行解码器运动矢量估计 最后把恢复的子块台并为一个完成的宏块。采用边界划分子块的方法可以使子块位于运动一致的区域之内 保证了每个子块解码运动估计的有效性。下面将具体讨论算法的实现过程。如图 所示 恢复出的边界把宏块分为两个部分 左边部分为 右边部分为 。选取 最外层的一层像素作为匹配标准在参考帧中与出错宏块相同位置处 上下左右 个像第四章关键参考帧选择技术和基于边界的时域错误隐藏算法素范围内进行搜索。 当前帧错误宏块 参考帧中搜索图 基于边界的时域错误隐藏分别以 周围的一罔像素为参考在参考帧的搜索范围内 计算每个目标模块周围像素与 周围像素的平均绝对值之和然后选取 值最小的 作为最匹配模块 拷贝到当前帧的出错宏块中。由于边界部分模板分离与重新合成比较复杂 因此本算法中 在子块拷贝完成之后 重新对边界部分进行了一次插值 以保证边界部分的清晰与完整。另一种情况是 如果周嗣检测不到边界点 或者相匹配的边界点连线不穿越宏块 则采用解码器运动矢量估计 算法。该算法直接采用出错宏块周围的一层正确解码像素作为匹配模板 在参考帧正负五个像素的范围内进行搜索。与基于边界的时域错误隐藏算法不同之处是 将宏块整体作为搜索目标 不进行子块的划分。如图 所示。图 算法视频质量的评价指标可以从主观和客观两个角度来进行。前者组织若干自愿者 通过观看视频 变堕奎兰堡主堂垡堡兰图像进行主观打分 然后对所打的分数进行统计分析 得出相关结论。视频质量的客观评价指标主要采用峰值信噪比 来表示 气气 啪分别是坐标为的当前图像的像素值和参考图像的像素值。 值一般以图像的亮度分量进行计算。客观评价方法具有量化和容易统计、重复性好等特点。一般情况下 值越大 图像质量越好。但有时 值并不与图像主观质量评价直接相对应。相同的 值的图像主观质量可能有所不同。本文主要采用 指标量化错误隐藏算法的功能 同时提供实验的图像 用来说明采用错误隐藏算法后 解码图像的主观质量的改进。 错误隐藏算法仿真实验本试验是对时域错误隐藏算法的仿真 分别采用解码器运动矢量估计恢复法 和本文算法进行仿真实验。并对两种算法进行了对比。采用分辨率为 采样的格式 视频序列 选取第 帧的结果做展示。对于帧间错误隐藏方法 通过 像素精度的运动矢量 可以恢复一些边缘情况复杂的宏块。通过这种方法 可以恢复处宏块周围边缘的大致走向 并且一些复杂区域 例如人脸的鼻子部分 耳朵的内部轮廓部分 都可以得到一定程度上的恢复。如图 传统的 算法对周围像素的匹配有一定的局限性 会将不太匹配的宏块拷贝过来容易使图像内容产生变形。而这个时候 本文所提的基于边缘检测的算法 可以很好的将运动部分 按照边界划分为两个子块 基于子块的运动搜索和恢复 效果明显要比 算法要好。 算法 提高了约。本文所提的基于边缘检测的算法 仔细观察可以发现本算法将边界直线化 但是对整体效果并无影响。不足之处在于 在帧间利用候选运动矢量建立临时宏块时 是以 块为基本单位。因此 会产生一些块效应。第四章关键参考黼挥技术和基于边界的时境错误隐藏算法 原图 出错图像 算法后得到的恢复图像经本文错误臆疑算法后得到的恢复图像圈 局部放大 编解码器仿真试验 滔试环境为了耍验证奉文提出的基于反馈信逆的关键参考桢选择算法和基于边缘检测的时域错误隐藏算法的差错控制性能 我们对视频测试序列进行了仿真试验。视频犏解码器由 测试软件 修改而得 加入了本文提出的基于反馈的关键参考帧选择算法和基于边界的时域错误隐藏算法。测试序列采用分辨率为 采样的格式文件 编码横式为第一帧为 经多欢试验后取关键参考帧间隔为为了麓免边界恢复算法受到图像中噪声的影响 启用了视频编码器中的环路滤波功能。在 配置文件中 一些主要参数的设置如下 帧周期环路滤波参数 量化参数 ”末南大学碗士学位论文跳帧教 输出数据格式优化模式 目标码率码翠控制 客观质量比较为了验证本文所提出的差错控制策略的性能 我们对测试序列在不同传输条件下进行了仿真试验。视频编解码器由 测试软件 修改而褥。试验中尉络环境模拟采取 ”’中的网络丢包模型模拟丢包过程对铡试序列 慨等不同丢包牢下进行编解码 每种丢包率重复 次。比较普通预测编码方法与加入本文算法之后的平均 的改善情况。圈 给出了不同编码比特率下的性能对比。为采用运动矢量估计的时域掩盖 为基于边界的时域掩盖 击基础上采用有反馈的关键帧算法。固序列 时对比试验结果表 序列 时在不同丢包率情况下 性能对比丢包率

  基于avs的差错控制技术的研究,发动机特有技术avs,发动机技术avs,差错控制编码,差错控制,阴阳差错,差错by说书人 三千,差错恢复,差错检测,差错率