解决方案

视音频内容分析技术及其在广电监测系统中的应用

发布日期:2014-04-24 13:34:45  来源:  作者:admin  浏览次数:0

一、一副美好的蓝图


二、技术详细介绍及其典型应用

2.1 音频噪声处理
技术介绍:1.通过频谱消减法,把噪声减弱或消除,以增强话音质量
典型应用:
1、中短波广播音频的去噪;
2、电视新闻节目中,外景记者采访,去除噪声,有助于提高话音质量,进而提高语音识别的性能;
2.2 音频分类
技术介绍:把音频区分成话音、环境音、音乐、静音等,或者把音乐进一步分类;
典型应用:1、广播电视音频中,进行音频分类后,把有用的话音部分提取保留,非话音去掉;2、广播电视音频中,利用静音,把人说的话断句;3、对广播电视音频进行静音检测,以判断是否停播或停播检修时间段;4、利用噪声检测,可判断广播节目空播或者电子对抗噪声干扰;
2.3 语种识别与确认
技术介绍:
语种识别:对一批数据依次区分出是什么语言;
语种确认:对某个数据,判断是否为某种语言;
典型应用:1、广播监测中,对接收机接收的某条数据或大量数据,判断是什么语言;2、广播电视节目中,尤其在访谈节目中,对嘉宾或主持人所说的话进行语种识别;
2.4 说话人识别与确认
技术介绍:说话人识别:对一批数据依次区分出分别是哪个人说的话;说话人确认:对某个数据,判断是否为某个人所说的话,是与不是;典型应用:1、广播电视监测中,特别关注某个人,对其讲话进行追踪;2、安全领域,对犯罪分子或敏感分子的通话记录进行追踪;
2.5 说话人分割与聚类
技术介绍:说话人分割:把不同人说的话分割出来;说话人聚类:把同一个人所说的话合在一起,提取特征,学习模型;
典型应用:1、广播电视节目中,对访谈类节目,把嘉宾和主持人的话分开;2、说话人聚类,为了说话人识别与确认后,进行追踪;
2.6 音频水印
技术介绍:通过某种变换,在原始音频中嵌入人耳听不到或不敏感的音频;
典型应用:1、广播电视节目的版权保护;
2、广播电视节目传送端与接收端的音频质量监测;
3、互联网上音频(如mp3音乐)的版权保护;
4、广播电视节目的来源监测;
2.7 音频模板检索
技术介绍:把一段音频作为模板,从数据流中检索与该音频相同的音频片段;
典型应用:1、广播电视节目的广告检索与监测;2、广播电视节目的台名或台花检索;3、广播电视中对节目播出进行监测;4、对广播电视节目进行检索;5、从海量广播电视数据中检索相同的音频;
2.8 音频查重检测
技术介绍:从广播电视数据流中发现相同的音频片段;
典型应用:1、广播电视节目的新广告发现;2、广播电视的节目预告片花的监测;
2.9 音频比对
技术介绍:比对两段音频是否相似,或者相似的程度;
典型应用:1、通过与中一等参考源比对,对遥控站实验与广播效果评分;2、通过与国际台广播比对,对海外遥控站数据进行质量评分;3、对接收到的广播数据,判断是否为我国广播的节目,对同频干扰等进行判别;
2.10 语音内容搜索
技术介绍:对海量广播电视数据建立语音内容索引,基于关键词检索,快速找到所关心的语音内容,类似百度和谷歌;
典型应用:1、广播电视台媒资素材的语音检索;2、广播电视节目中敏感信息的快速查找;
2.11 语音识别
技术介绍:把语音转换成文字;
典型应用:1、广播电视舆情简报生成;2、广播电视新闻节目的文字生成与编辑;3、广播电视新闻节目的快速浏览;
2.12 语音关键词检测
技术介绍:从音频流中实时发现用户定义的关键词;
典型应用:1、广播电视敏感内容监测;2、广播电视新闻专题发现;
2.13 图像增强
技术介绍:将原来不清晰的图像变得清晰或强调某些关注的特征,抑制非关注的特征,使之改善图像质量、丰富信息量,加强图像判读和识别效果的图像处理方法 ;
典型应用:1、不同媒体的视频分享(互联网到手机)。2、如无损安全检查、指纹、虹膜、掌纹、人脸等生物特征的增强处理等。
3、交通监控中,对有雾图像、夜视红外图像、交通事故的分析等。
2.14 图像分割
技术介绍:从图片中把关心的图像分割提取出来;
典型应用:1、用于特定物体的识别,如医学影像中病理部位,卫星图像中定位物体(道路、森林等);
2.15 镜头切分
技术介绍:把不同镜头的视频分割开;
典型应用:1、电视节目视频检索;2、电视节目场景的快速浏览;
2.16 场景检测
技术介绍:检测某一场景;
典型应用:1、对某种类型的场景(如开会、集会、游行示威等)进行检测;2、发现违规或敏感视频;
2.17 视频摘要提取
技术介绍:提取视频镜头关键帧图片,生成视频摘要;
典型应用:1、快速浏览定位电视节目内容;2、快速找到节目中的精彩部分(体育赛事);
2.18 视频分类
技术介绍:对电视数据进行分类(新闻类、娱乐类、体育类等);
典型应用:1、广播电视节目的分类;2、其他类型的节目分类(暴力类、色情类等);
2.19 图像和视频检索
技术介绍:视频检索:基于一段视频模板,从大量视频数据中检索到相似的视频;图像检索:基于一副图像模板,从图片库或视频库中找到相似的图片;
典型应用:
1、电视节目中视频或图片的搜索;2、电视节目中台标或徽标的匹配识别;2.20 敏感视频检测
技术介绍:基于特征,过滤检测某种类型的图片或视频;
典型应用:1、电视节目敏感图片或视频的检测与过滤;2、电视节目中挂角广告的监测;3、互联网上色情、暴力等违规图片与视频的过滤;
2.21 字幕检测与识别
技术介绍:字幕检测:从视频中检测到是否有字幕;字幕识别:对有字幕的视频,把字幕转换成文字;
典型应用:1、电视节目中滚动广告的检测;2、电视新闻节目中外景记者采访时,非普通话的语音识别;3、影视剧节目中对白的文字转化;
2.22 新闻条目拆分
技术介绍:把新闻联播拆分成一个个条目,利用字幕识别,自动识别条目名称;
典型应用:1、电视节目的编目;2、电视新闻节目的快速浏览;3、把新闻条目语音识别成文字,提供数据服务(网络电视台的节目点播与发布);
2.23 视频差异比对
技术介绍:比对两段视频是否相同;
典型应用:1、广播电视节目中广告的检索(与音频模板检索相结合);2、电视节目直播、转播的错播监测;3、电视高清和标清节目的错播监测;4、电视节目的打点切分;5、节目盗播,版权监测;
2.24 人脸检测
技术介绍:检测是否是某个特定人的脸;检测是否含有人脸;
典型应用:1、电视节目中某个敏感人的检测和追踪;2、电视节目中人脸检测,主持人的出镜率;3、身份认证与安全防护;4、3D游戏,模拟人脸表情;
2.25 视频监控
技术介绍:从视频流中实时监控某一类型的事件;
典型应用:1、异常事件的检测(如打架、偷盗、涂鸦等);2、车牌识别;3、交通(逆行告警、越界报警、车速流量等);4、网吧浏览监控;
2.26 视频水印
技术介绍:在视频的每一帧图像中嵌入水印(肉眼看不到的图像);
典型应用:1、视频版权保护;2、网络拷贝监测;
2.27 动态跟踪
技术介绍:跟踪某一物体在视频中的运行轨迹;
典型应用:1、交通执法,违法车辆的跟踪 2、机器人打乒乓球;3、军事领域;