超級劇透季四: 強(qiáng)監(jiān)管時代,音視頻內(nèi)容安全審核系統(tǒng)需要具備哪些能力?
發(fā)表時間:2021-12-03
返回列表幾年前,思科曾經(jīng)預(yù)測,音視頻資源將在2022年占據(jù)所有互聯(lián)網(wǎng)流量的82%。時至今日,預(yù)測逐漸成真。
《2021中國網(wǎng)絡(luò)視聽發(fā)展研究報告》顯示,截至2020年12月,我國網(wǎng)絡(luò)視聽用戶規(guī)模達(dá)9.44億,泛網(wǎng)絡(luò)視聽產(chǎn)業(yè)規(guī)模達(dá)6009.1億。各類互聯(lián)網(wǎng)音視頻每天以超過100億小時/天的增量在增長。
沒人能否認(rèn),直播短視頻行業(yè)的興起帶火了音視頻內(nèi)容的大發(fā)展。站在時代的大風(fēng)口上,各類UP主、KOL、創(chuàng)作達(dá)人們,不論是PGC還是UGC,但凡有點內(nèi)容輸出能力的,沒誰不是爭先恐后、挖空心思要搶占流量制高點。誰都明白,在這個流量為王的時代,有它就代表一切。
對于網(wǎng)絡(luò)音視頻內(nèi)容創(chuàng)作的空前繁榮,就像魔鏡的兩面,讓人喜憂參半。一方面優(yōu)秀的作品為用戶帶來大波內(nèi)容豐富、形式新穎的音視頻佳作,另一方面,那些扮丑作妖、內(nèi)容惡俗、暴力血腥甚至觸碰法律底線的網(wǎng)絡(luò)垃圾,也大量充斥在網(wǎng)絡(luò)空間,成為危害人民、甚至動搖國家安全的毒瘤。
凈網(wǎng)行動,勢在必行
對各大平臺而言,圖文音視頻內(nèi)容創(chuàng)作野蠻生長的時代早已結(jié)束,監(jiān)管政策趨嚴(yán)是大勢所趨,內(nèi)容安全審核風(fēng)控的成敗已成為卡住平臺生死命門的達(dá)摩克里斯之劍,稍有不慎,就會陷入萬劫不復(fù)的境地。
舉個最典型的例子,內(nèi)涵段子,這個曾擁有2.5億高粘性用戶的熱門APP,曾經(jīng)風(fēng)光無限,但因?qū)虿徽?、格調(diào)低俗等突出問題,被勒令永久下架,徹底涼涼。實際上,抖音、快手、西瓜視頻......,幾乎所有的網(wǎng)絡(luò)直播和短視頻平臺,都曾因為內(nèi)容安全問題被約談?wù)摹?br/>
這樣的形式下,就不難解釋,為什么頭部平臺全都不遺余力,強(qiáng)力推行內(nèi)容安全審核制度,不斷完善運營審核隊伍了。
目前,不論是采用先審后發(fā)還是先發(fā)后審機(jī)制,各大平臺都離不開機(jī)器審核+人工審核這兩個關(guān)鍵要素。其中,機(jī)器審核作為初篩,對海量數(shù)據(jù)進(jìn)行快速審核,劃定可疑范圍。其特點優(yōu)勢在于覆蓋廣、標(biāo)準(zhǔn)統(tǒng)一、速度快、迭代更新能力強(qiáng),結(jié)合人工復(fù)審,雙管齊下,可以做到真正意義上的實時在線審核。
強(qiáng)監(jiān)管環(huán)境下,內(nèi)容安全機(jī)器審核系統(tǒng)需要具備哪些能力?
從產(chǎn)業(yè)趨勢上看,不同媒體形式的交叉融合正在加快,越來越多的垂直行業(yè)也開始參與視聽內(nèi)容的輸出,泛媒體化泛娛樂化正在成為共識。更多樣化的媒體形式,更快速實時的互動方式和更錯綜復(fù)雜的海量內(nèi)容,給音視頻內(nèi)容安全監(jiān)管帶來了前所未有的壓力。作為內(nèi)容安全審核的絕對主力,這些變化要求機(jī)器審核系統(tǒng)必須走向智能化、高效化、可擴(kuò)展和自主可控化。
- 算法智能化
傳統(tǒng)的內(nèi)容識別技術(shù)以關(guān)鍵字和特征庫為代表,以圖像處理為例,傳統(tǒng)識別方式通過人工設(shè)計圖像處理算法,完成圖像的分析處理。比較具有代表性算法包括均值濾波、圖像金字塔、sobel邊緣檢測算子、LBP算子、sift算法,圖像線性插值算法等。這些算法常用于圖像的縮放、增強(qiáng)、邊緣檢測、圖像匹配等方向。主要優(yōu)點是可解析,穩(wěn)定性好。但缺點也很明顯,傳統(tǒng)方法無法提取圖片中豐富的視覺特征,實現(xiàn)更高層次的語義識別,并且泛化能力差,無法適應(yīng)豐富多變的應(yīng)用場景,因此會帶來比較大的安全風(fēng)險和后續(xù)人力投入。
要想改善這一結(jié)果,必須采用基于自然語言處理、深度學(xué)習(xí)技術(shù)的智能識別技術(shù),通過大量的訓(xùn)練數(shù)據(jù)積累,規(guī)則的不間斷更替迭代,持續(xù)的工程化開發(fā)支持,提升識別率,保證對圖片、語音、視頻風(fēng)險監(jiān)測識別的全覆蓋。
- 處理高效化
在直播短視頻領(lǐng)域,為取得更好的實時互動效果,平臺不僅要盡可能的保障風(fēng)險和安全,效率和速度也很重要。通常,直播領(lǐng)域會要求畫面播出前完成機(jī)器審核,直播一般會有數(shù)秒的延遲。由于每天新產(chǎn)生的內(nèi)容量巨大,縮短延遲時間,提升機(jī)器審核的處理效率,是對機(jī)器審核系統(tǒng)提出的巨大性能挑戰(zhàn)。
- 系統(tǒng)可擴(kuò)展和自主可控化
對數(shù)據(jù)無法開放,只能在本地存儲內(nèi)容的平臺而言,隨著數(shù)據(jù)量的提升,對系統(tǒng)可擴(kuò)展性和自主可控性的要求勢必會提上日程。強(qiáng)大的平臺升級和系統(tǒng)彈性伸縮能力可以大量減少重復(fù)成本支出,提升ROI投資回報率。
AVA(audio video analyst)音視頻內(nèi)容安全審核一體化解決方案
恒揚(yáng)數(shù)據(jù)結(jié)合自身在芯片設(shè)計及應(yīng)用,硬件系統(tǒng)開發(fā)和軟件算法工程化上的能力,為自建內(nèi)容安全審核系統(tǒng)的客戶提供了高效智能審核方案AVA(audio video analyst),對互聯(lián)網(wǎng)音視頻圖像進(jìn)行內(nèi)容合規(guī)性審核和關(guān)鍵目標(biāo)識別,以圖像、視頻音頻為目標(biāo)進(jìn)行檢索,實現(xiàn)場景審核檢測,提升平臺抗風(fēng)險能力,保障高質(zhì)量內(nèi)容輸出。目前,AVA已經(jīng)開發(fā)出人臉識別、視頻檢索、鑒黃、臺標(biāo)識別四大功能模塊。
- 神經(jīng)網(wǎng)絡(luò)算法,提升系統(tǒng)智能化
AVA音視頻智能內(nèi)容安全審核方案采用軟硬協(xié)同的一體化方案,軟件方面,AVA采用卷積神經(jīng)網(wǎng)絡(luò)算法,通過大量的數(shù)據(jù)訓(xùn)練擬合出最理想的神經(jīng)網(wǎng)絡(luò),利用計算損失函數(shù)反向傳播不斷優(yōu)化卷積核,最終損失函數(shù)收斂,其原理是卷積核對圖像數(shù)據(jù)進(jìn)行特征提取,不同的卷積核提取不同的特征,如邊緣、紋理、顏色空間等特征信息,卷積層越深,提取的特征越抽象,最終實現(xiàn)的推理結(jié)果越精準(zhǔn)。
經(jīng)過神經(jīng)網(wǎng)絡(luò)算法的圖像處理,數(shù)據(jù)的特征匯聚形成多維信息向量,多維信息構(gòu)建出索引后可以按照向量對目標(biāo)進(jìn)行搜索。對同一目標(biāo)的搜索匹配出多個結(jié)果,按照序列進(jìn)行匹配,并在多個結(jié)果中選擇最優(yōu)解。
目前,AVA智能內(nèi)容安全審核方案識別準(zhǔn)確率可達(dá)到99%,召回率大于95%,系統(tǒng)具備魯棒性強(qiáng),能識別遮擋、光照變化、表情變化、側(cè)臉等各種復(fù)雜情況下的人臉,細(xì)粒度對色情和性感內(nèi)容進(jìn)行分類識別。同時,系統(tǒng)自帶抗干擾功能,可抵抗視頻分辨率變化、畫面裁剪、片段拼接、灰度變換、加水印、加黑邊、加文字、重編碼、色彩飽和度變換等變形攻擊。
- 硬件加速引擎推升處理性能
硬件方面,AVA通過服務(wù)器配置硬件加速卡的方式,實現(xiàn)圖像處理加速和神經(jīng)網(wǎng)絡(luò)加速。當(dāng)視頻被解析成圖像后,圖像的縮放、裁剪等處理,都由硬件加速卡完成。處理后的數(shù)據(jù)采用神經(jīng)網(wǎng)絡(luò)算法進(jìn)行識別處理,形成數(shù)據(jù)的關(guān)聯(lián)圖譜。
AVA系統(tǒng)單臺整機(jī)可同時分析300-400路1080P視頻,單機(jī)支持上萬長視頻底庫,同時并發(fā)480路 1080P視頻的實時分析,可并發(fā)處理2Gbps的音視頻流量。
- 模塊化設(shè)計+國產(chǎn)化硬件,助力系統(tǒng)可伸縮彈性和自主可控化
根據(jù)不同客戶需要,AVA提供模塊化設(shè)計,系統(tǒng)可依據(jù)性能、識別要求等進(jìn)行個性化配置。在關(guān)鍵算法上,AVA兼容自研加速卡、國產(chǎn)寒武紀(jì)MLU加速卡、華為昇騰Atlas加速卡等多種方式,通過國產(chǎn)自主硬件加速卡快速實現(xiàn)視頻高速解碼和神經(jīng)網(wǎng)絡(luò)加速,對圖像、視頻片段、圖/幀內(nèi)關(guān)鍵目標(biāo)進(jìn)行搜索分析及合規(guī)性檢測。