网易云易盾CTO朱浩齐 我们是如何用AI赋能内容安全?
来源:百家号 发表于2018-05-22 21:21:41 编辑:阑行
摘要: 原标题:网易云易盾CTO朱浩齐 我们是如何用AI赋能内容安全? 5月19日,LiveVideoStack携手网易云易盾,共同打造了娱乐多媒体开发应用实践专题,帮助开发者和

  原标题:网易云易盾CTO朱浩齐 我们是如何用AI赋能内容安全?

  5月19日,LiveVideoStack携手网易云易盾,共同打造了“娱乐多媒体开发应用实践”专题,帮助开发者和泛娱乐平台运营人员,提升技术能力,突破难点,拓展思路与视野。

  在专题论坛中,网易云易盾CTO朱浩齐分享了《AI赋能的内容安全技术实践》主题内容,从策略、技术、产品三个方面,详细介绍了网易在内容安全系统构建方面的实践经验,包括如何建立对有害信息精细明确的审核体系和应急响应机制,如何采用基于自然语言、深度学习技术的智能识别技术,保证对文字、图片、语音,特别是直播视频内容的全面精准覆盖等等。

  内容安全行业现状:有害信息的持续性递增

  2017年全球网民34亿,互联网普及率46%;全球智能手机保有量28亿;2016年互联网占据了中国用户55%的媒体时间;移动互联网使用时长超过电视......这些数字都在表明,网络直播的变现能力已远远超过游戏、电视等其他媒体。

  朱浩齐表示,互联网进一步渗透人们生活各个角落的同时,也还带来有害信息的持续性递增——各种违法和不良信息的举报量居高不下,甚至引起了国家战略层面的关注。

  没有网络安全,就没有国家安全,更不能让互联网成为传播有害信息、造谣生事的平台。因此,近年来,各种处罚案例也是不胜枚举。

  这位网易云易盾CTO列举到:2017年4月18日,北京市网信办、公安局文化场行政执法总队联合约谈今日头条、火山直播、花椒直播;2017年4月底,国家新闻出版广电总局责令腾讯整改微信公众号、移动客户端播放视听节目;2017年6月22日,广电总局责令关停新浪微博、AcFun、凤凰网等站的视频服务;2017年7月,bilibili大量剧集被下架;2018 年4月6日;为了配合广电总局的整改,快手扩容自己内审核团队;2018 年4月8日,广电总局责令今日头条永久关停“内涵段子”等低俗视听产品......可以说,行业进入了强监管时代。

  “对于企业来说,内容安全更是成为了刻不容缓的生死命题。”朱浩齐举例称,今年4月,文化部和旅游部公开文件显示已排查4939 款直播应用,下架370款。“所以,多款直播应用平台都选择了加大审核力度和人工投入。”例如,快手发布招聘显示将审核人员规模扩充到5000人,月薪4000-9000元;今日头条也表示近期将扩充到6000人审核团队,预期到达10000人......

网易云易盾CTO朱浩齐:我们是如何用AI赋能内容安全?

  朱浩齐认为,互联网直播平台的内容安全给企业带来的挑战远不仅如此,在成本、效果、技术上,各种挑战维度都在不断升级,更是给企业带来了极大的困难。

  网易云易盾如何在技术层面提供安全防护?

  分享完严峻的形势后,朱浩齐和大家谈了下拥有20年技术沉淀的网易云易盾是如何做内容安全的。

  他说,易盾在内容安全上,一共经历了三个阶段:

  阶段一:关键词、黑白名单、过滤器;

  阶段二:内容特征识别(肤色,纹理)、贝叶斯过滤、相似度匹配、规则系统;

  阶段三:大数据分析(用户行为,用户分类)、人机识别、人工智能(语义识别,图像识别、自然语言处理等)。

  现阶段文本、图像、语音、视频四块都有哪些核心技术?朱浩齐表示,主要有以下这些:

  文本:智能关键词、模糊匹配、语义分析、小语种检测;

  图片:图像识别、特征识别、图片检索、OCR 识别;

  语音:MD5库检测、语音特征检索、语音特征识别、语音识别;

  视频:视频转码压缩、视频流分析、截图/截帧分析。

  这位深耕于技术一线的CTO表示,得益于神经网络学科的快速发展,近年来的机器学习技术也在不断进步,为内容安全提供了最坚实的技术保障,包括分层的生物神经网络、图像识别技术、深度神经网络、神经元激活热力图等等,在安全技术效果上给予了更多的强化。

网易云易盾CTO朱浩齐:我们是如何用AI赋能内容安全?

    Hubel& Wiesel(图片来源:Harvard Brain)

    他说,这些技术也在网易易盾中得到了充分应用,包括图片识别、音频过滤以及视频过滤技术。

网易云易盾CTO朱浩齐:我们是如何用AI赋能内容安全?

  • 图片识别技术:支持人像识别,支持色情图片检测,支持动漫识别;支持相似匹配,支持图片旋转、裁剪,支持改变图片亮度、色调;支持水印识别。

  • 音频过滤技术:基于强大的语音识别分析引擎,通过网易积累多年的垃圾库实时过滤有害语音,同将转成文字进一步过滤。技术要点在于,将语音转换文本和文本检测相结合。

  • 视频过滤技术(直播、点播):视频流检测,视频截图/截帧检测,直播间热度监测,主播黑名单,机器+人工。技术要点在于,将视频转换图片和图片识别技紧密结合。

网易云易盾CTO朱浩齐:我们是如何用AI赋能内容安全?

    对于网易来说,内部数据的多样性也给易盾提供了丰富的实践场景。“在网易邮箱、网易新闻、云音乐、LOFTER、云相册、薄荷直播等内部应用构建的数十万变种的数据中,易盾能够实现实时加密过滤垃圾信息、安全防刷等功能,良好地维护了产品运营氛围和用户体验。”

    真实的技术环境更为复杂,网易易盾如何更进一步?

    事实上,从技术、人力、成本等各维度来看,真实环境中的内容安全防护更为复杂。举例来说,假设10k张图像中有1张是违禁图片,易盾的系统准确率为99.9% ,即1k张图像会判错一张,那么其计算伪阳性率(False Positive Rate,即判断为违禁图像集合中正常样本的比例)为:

网易云易盾CTO朱浩齐:我们是如何用AI赋能内容安全?

    即11 张判定为违禁的结果里面竟有10张是误判的——数据的难解释性、黑客的持续性攻击都给内容安全防护提出了更高的要求。

  • 难解释性:如下图所示,一张原本能被正确识别的大熊猫图像,在添加人眼几乎不可辨认的微小变化之后,竟然以99 .3%的置信度被判别为长臂猿。

网易云易盾CTO朱浩齐:我们是如何用AI赋能内容安全?

  •  
  • 黑客攻击:通过对输入数据的维度特性进行改变,可以针对深度学习数据处理环节进行攻击,对深度学习图像识别等应用造成逃逸攻击以及数据污染攻击等效果。比如说,下图某位明星,经过数据的维度特性处理后,它能被机器识别为“某本山”。

网易云易盾CTO朱浩齐:我们是如何用AI赋能内容安全?

   更遑论,内容安全的“攻击者们”早已形成了成熟的产业链。他们这类徘徊在法律边缘的群体,利益明确且分工协作,攻击手段更是持续升级。所以,对于所有的内容安全厂商来说,这都是一场高成本、长拉锯的攻坚战。

    朱浩齐说:“基于此,易盾对比行业传统的内容识别单维度服务,还提供了账号、IP、行为动作(关注,投票,评论)、内容识别、用户画像、群体画像、环境数据、设备指纹的多维度技术服务。此外,更是深入解析攻击漏洞,从注册保护、登录保护、环境监测、行为分析、用户分析、离线计算的全服务流程进行深度的安全防护。”

网易云易盾CTO朱浩齐:我们是如何用AI赋能内容安全?

    目前,基于网易所构建的强大用户关系网络,易盾提供了场景化的解决方案。从广告过滤、智能鉴黄、暴恐识别、谣言排查四大方面,实现了弹幕实时过滤、聊天区文本/图片过滤、头像/昵称过滤、直播间电视墙监控、直播间音频过滤、主播黑名单、用户黑名单、房间热度分析等全方位的安全防护功能。此外,“机器+人工”的操作模式,更是从细微之处着手,提供了升级化的技术功能,智能机器监控、优先推送、智能排序、嫌疑高亮、支持警告、断流操作、自动补位、视频大小自适应等等不一而足。

网易云易盾CTO朱浩齐:我们是如何用AI赋能内容安全?

  重重的技术防御下,安全效果自然不言而喻。朱浩齐分享到,目前易盾每天为网易数亿的用户和内容数据提供安全保障,也给网易所有得产品提供了全面的信息安全服务。“在今年三月份主要商业网站违法不良信息的举报统计中,易盾全面的信息安全服务为网易的产品带来了效果显著的保护。”他说。

  如何快速使用易盾?

  网易易盾,是极速智能的内容安全云服务,专注内容安全解决方案。目前,网易易盾已在泛娱乐、多媒体、运营商、电商、金融证券等各行各业实现渗透应用,多领域客户覆盖下,是秉持初心、坚韧不破的安全技术保障。

  现在,通过API 接入,访问 dun.163.com,一天即可配置完成。

  内容安全数据可视化、智能的直播电视墙、身经百战的审核团队,丰富的功能应用,现在即可获取。

  以上由网易企业信息化服务提供商(163hmail.com)湖南领先网络科技整理发布。

  网易企业服务,是网易凭借其20年品牌优势与经验在企业邮箱的基础上,为进一步布局企业市场而打造的企业级产品矩阵,致力于提供一站式企业信息化解决方案。湖南领先网络科技是网易企业产品授权经销商,专业为企业提供网易企业邮箱、网易办公套件等一站式企业信息化专业解决方案。

投稿邮箱:lukejiwang@163.com
相关推荐
中国软件,挣的钱都去哪儿了?
中国软件,挣的钱都去哪儿了?

原标题:中国软件,挣的钱都去哪儿了? 卖一台PC能赚100元,其中英特尔拿去了

技术经验2022-05-31 21:23:59

SpaceX 星链卫星互联网速率已超过 300 Mbps
SpaceX 星链卫星互联网速率已超过 300 Mbps

原标题:SpaceX 星链卫星互联网速率已超过 300 Mbps 5 月 22 日消息,太空探索技术

技术经验2022-05-22 09:02:05

风口上的低代码,技术人需要考虑哪些?
风口上的低代码,技术人需要考虑哪些?

原标题:风口上的低代码,技术人需要考虑哪些? 低代码平台采用可视化的声

技术经验2022-05-21 09:23:47

Google搜索支持用户删除手机号码、地址等内容信息
Google搜索支持用户删除手机号码、地址等内容信息

原标题:Google搜索支持用户删除手机号码、地址等内容信息 5 月 2 日消息,据

技术经验2022-05-03 14:26:50

微软称 Win11 OneNote 重大更新版即将推出,统一 UWP 和
微软称 Win11 OneNote 重大更新版即将推出,统一 UWP 和

原标题:微软称 Win11 OneNote 重大更新版即将推出,统一 UWP 和 Win32 4 月 28 日消息

技术经验2022-04-28 18:29:07

二手半导体设备有特需,2年涨2倍
二手半导体设备有特需,2年涨2倍

原标题:二手半导体设备有特需,2年涨2倍 老式半导体制造设备的需求出现增加

技术经验2022-04-26 15:30:12

微软朱晨光:预训练模型下一步怎么走?突破PLM的“不
微软朱晨光:预训练模型下一步怎么走?突破PLM的“不

原标题:微软朱晨光:预训练模型下一步怎么走?突破PLM的不可能三角 文章虽

技术经验2022-04-24 20:49:55

谷歌Messages出新Bug:导致相机在后台运行
谷歌Messages出新Bug:导致相机在后台运行

原标题:谷歌Messages出新Bug:导致相机在后台运行 4 月 23 日消息,据报道,谷歌

技术经验2022-04-23 10:05:54

打造下一个 ASML?传荷兰将投资 11 亿欧元培育硅光子技
打造下一个 ASML?传荷兰将投资 11 亿欧元培育硅光子技

原标题:打造下一个 ASML?传荷兰将投资 11 亿欧元培育硅光子技术企业 荷兰决

技术经验2022-04-22 16:27:15

微信农场在哪里打开 微信农场在哪个位置打开
微信农场在哪里打开 微信农场在哪个位置打开

原标题:微信农场在哪里打开 微信农场在哪个位置打开 1、打开微信我的选择状

技术经验2022-04-14 22:07:59