~系統簡介
大數據監測監管是針對互聯網視聽節目、互聯網輿情、移動互聯網視聽內容、網絡出版物、手機APP內容等不同監測領域于一體的一套可擴展的智能監測解決方案,,充分考慮技術上應有的主動性和 性,在自動發現、下載、取証各類互聯網內容的基礎上,充分利用現代計算機文本內容分類、自然語言處理、音視頻內容分析等模式識別算法,對下載的互聯網內容進行智能化的自動審核判定,通過良好的人機交互界面實現主動、高效的互聯網內容綜合監測。
信息系統安全等級保護系統,支持目標脆弱性掃描,滲透測試,靜態分析,性能測試,協議分析,物理環境檢測,網絡拓扑生產檢測,安全配置檢測,實現對設備或軟件安全配置的快速、有效、集中搜集,並識別與安全基線不符合的項目,形成核查報告,達到系統安全運行,穩定工作。
安全審計平台,識別處理多種網絡網絡設備、應用系統(如Web、 Mail)、操作系統、安全廠家的產品日誌。
技術方案
大數據監測監管是針對互聯網視聽節目、互聯網輿情、移動互聯網視聽內容、網絡出版物、手機APP內容等不同監測領域于一體的一套可擴展的智能監測解決方案,主要包括“全網無証網站視聽節目監測系統”、“持証網站視聽節目監測系統”、“'兩微一端'視聽節目監測系統”、“網絡直播內容監測系統”、“網絡文學監測系統&rdquo、“遊戲APP監測系統&rdquo、“互聯網輿情監測系統&rdquo、“手機APP內容監管系統&rdquo、“IPTV節目內容監管系統”等產品,分別針對不同監測範圍和不同監測內容,充分考慮技術上應有的主動性和 性,在自動發現、下載、取証各類互聯網內容的基礎上,充分利用現代計算機文本內容分類、自然語言處理、音視頻內容分析等模式識別算法,對下載的互聯網內容進行智能化的自動審核判定,通過良好的人機交互界面實現主動、高效的互聯網內容綜合監測。
(一)全網無証網站視聽節目監測系統:
針對全網無証網站,主要面向各互聯網信息發布平台進行違規視聽節目的智能採集與內容分析研判,監測目標範圍主要包括:各大主流搜索引擎、微博搜索、網盤搜索、磁力搜索、微信公眾號等。系統綜合利用視聽節目鏈接有效性進行研判、文本分級詞庫(敏感詞加密顯示)檢索、音視頻圖像內容分析技術等多種技術手段,較傳統關鍵詞的方式大幅提升違規研判的準確率。
傳統的監測方式需要先搜集轄區內的無証視聽網站,然後選擇部分無証網站,由技術人員創建爬虫模板后才能完成數據的採集與監測;因此傳統的監測方式不僅無法做到無証視聽網站的全面覆蓋,而且需要耗費大量的硬件資源以及網絡帶寬資源,同時搜索週期長,一般需要1至2天;互聯網80%以上的信息來源於主流的傳播平台與發布渠道,因此系統能夠以最小的代價在15分鐘內完成轄區內敏感視聽節目的全網搜集與準確過濾,此外多種技術手段進行違規復篩,能夠保障自動將最準確的敏感視聽節目推送給用戶;
(二)持証網站視聽節目監測系統:
系統自動採集持証網站全站視聽節目,對持証網站視聽節目進行全方位的深入分析,主要包括:板塊分布情況;日新增節目的發布趨勢,節目發布時段分布;違規板塊分布、違規發布者分布、違規類型分布;違規節目發布趨勢、發布時段分布等。系統通過黑白名單及違規詞反衍自學習、文本內容初篩、音視頻圖像內容復篩等多種研判手段,顯著提升研判準確率。此外,系統獨創的四畫面監聽監看模式,大幅提升了人工複審的效率,並提供日常監聽監看工作量考核體系。
系統採用“后廠+前店”的工作模式,結合完備的敏感節目庫以及內容智能分析技術,應用分析完全貼合廣電總局的相關業務要求。
(三)“兩微一端”視聽節目監測系統:
系統通過網絡爬虫自動搜集涉“我”的微博賬號、微信公眾號,涉“我”手機APP視聽應用,微博、微信公眾號中發布的視聽節目,手機APP應用中發布的視聽節目,通過違規專題配置與管理、違規視聽節目監測、違規視聽節目綜合檢索等核心功能,生成統計分析與報表。公司具備豐富的“兩微一端”數據採集技術經驗,能夠確保數據的查全率,除廣電領域外相關產品在安全領域也已實際落地應用。
(四)網絡直播內容監測系統:
系統利用互聯網爬虫對直播平臺中的熱門播主、直播房間等信息進行主動搜集,對於觀眾較為密集或數量呈激增趨勢的播主或房間能夠主動提醒用戶實施關注,從而輔助用戶在一定程度上實現網絡直播服務平台的日常監管。系統核心功能包括:(1)熱門主播自動發現與管理;(2)疑似違規播主分析研判;(3)敏感直播房間追蹤分析。該系統兼容直播網站與直播APP應用中的直播內容監測;能夠通過涉黃涉暴圖像檢測對直播視頻中的違規圖像自動追蹤,主動發現直播過程中的違規情況並報警;能夠對直播過程中的違規視頻進行自動取証。目前,該系統已在兩會期間發揮重要作用。
(五)網絡文學監測系統:
網絡文學監測系統針對互聯網中傳播的文學出版物,重點針對網絡小說、漫畫、有聲小說等。系統首先採用 的網絡爬虫與下載技術,在自動發現、下載、取証各類出版物內容的基礎上,然後充分利用涉黃涉暴圖像識別、字符識別、語音識別、文本比對等技術,對下載的相關網絡文學出版物內容進行智能化判定,實現主動高效的網絡文學監測。系統自動對網站內的網絡文學出版物中是否含有違規內容進行分析研判與自動下載取証。系統自動對含有違規內容的網絡文學出版物進行持續監測,以檢查違規內容的刪除情況,如未刪除,則督促其儘快刪除。系統自動對網絡文學出版物的傳播熱度、傳播違規內容等情況進行統計分析。
系統採用語音識別技術將有聲小說識別翻譯為文本形式,能夠自動發現有聲小說中的敏感內容;
系統採用字符識別技術對圖片中的文字進行識別,能夠自動發現圖片文字中的敏感內容;
系統採用涉黃涉暴圖像識別技術主動發現網絡出版物中的涉黃涉暴內容;
系統的涉黃圖像識別支持“成人漫畫”的自動識別,且識別準確率高。
(六)遊戲APP監測系統:
網絡文學監測系統針對互聯網中傳播的文學出版物,重點針對網絡小說、漫畫、有聲小說等。系統首先採用 的網絡爬虫與下載技術,在自動發現、下載、取証各類出版物內容的基礎上,然後充分利用涉黃涉暴圖像識別、字符識別、語音識別、文本比對等技術,對下載的相關網絡文學出版物內容進行智能化判定,實現主動高效的網絡文學監測。系統自動對網站內的網絡文學出版物中是否含有違規內容進行分析研判與自動下載取証。系統自動對含有違規內容的網絡文學出版物進行持續監測,以檢查違規內容的刪除情況,如未刪除,則督促其儘快刪除。系統自動對網絡文學出版物的傳播熱度、傳播違規內容等情況進行統計分析。
主動搜集轄區內相關的遊戲APP信息,並通過文本分析、視頻圖像分析等技術對於遊戲的簡介、宣傳海報等內容進行分析,能夠主動發現疑似含有違規內容的遊戲APP,從而提醒用戶進行關注,在一定程度上實現遊戲APP違規內容的日常監管。主要包括兩個核心功能:
(1)遊戲APP自動發現與管理
針對遊戲APP門戶網站,系統主動搜集省轄區本地或用戶指定條件的相關遊戲APP信息,用戶可通過遊戲APP自動發現與管理模塊對系統自動發現的遊戲APP軟件信息進行管理操作。可查詢系統搜集到的遊戲APP軟件的相關信息。
(2)疑似違規遊戲APP自動研判與審核
結合“違規知識庫”以及 圖像識別技術,能夠對遊戲APP中的文本以及相關圖片進行自動鑑別,將其自動研判為違規或非違規,由人工審核后提交系統保存。
(七)互聯網輿情監測系統:
網絡文學監測系統針對互聯網中傳播的文學出版物,重點針對網絡小說、漫畫、有聲小說等。系統首先採用 的網絡爬虫與下載技術,在自動發現、下載、取証各類出版物內容的基礎上,然後充分利用涉黃涉暴圖像識別、字符識別、語音識別、文本比對等技術,對下載的相關網絡文學出版物內容進行智能化判定,實現主動高效的網絡文學監測。系統自動對網站內的網絡文學出版物中是否含有違規內容進行分析研判與自動下載取証。系統自動對含有違規內容的網絡文學出版物進行持續監測,以檢查違規內容的刪除情況,如未刪除,則督促其儘快刪除。系統自動對網絡文學出版物的傳播熱度、傳播違規內容等情況進行統計分析。
系統能夠實時搜集互聯網的海量輿情信息,包括各新聞門戶網站、論壇、博客、微博、貼吧、播客、各搜索引擎、微信公眾號、外媒、平媒等,也可定製本地化的目標網站,納入輿情採集範圍。
系統構建一個核心涉廣電輿情知識庫:具有完備的涉廣電輿情知識庫,內容涵蓋涉廣電人物、機構、政策法規、敏感節目、涉廣電微博賬號,涉廣電微信公眾號等各個方面。
系統基於成熟的輿情研判技術,自然語言處理技術(主要包括大規模文本排重、垃圾文本信息過濾、文本分類、聚類、文本情感分析、專題影響力分析、代表性話題聚類提取、人物/組織抽取技術),為互聯網輿情智能化的整理分析、統計編報提供有效的技術保障;
系統將情感分析技術與代表性話題提取技術相結合,統計分析網民對某輿情事件的褒貶傾向分布情況以及正負面代表性觀點,能夠幫助用戶更準確地了解關於某輿情專題的社情民意;
目前已廣氾應用於國家新聞出版廣電總局等各個輿情監測領域。
(八)手機APP內容監管系統:
手機APP內容監管系統綜合利用互聯網爬虫、文本分析、語音識別、關鍵詞檢索等信息採集與分析技術,實現對手機APP中的文本(包括文章、帖文、評論等文本內容)、視聽節目內容進行自動採集抓取與分析,按照用戶的各種業務要求,主動發現手機APP中發布的違規內容。
(九)IPTV節目內容監管系統解決方案:
系統支持來源合法性監測和內容合法性檢測兩個核心功能。
(1)直播節目來源合法性監測
分別在播控平台出口②和用戶終端⑤分別對直播節目實時採集存儲后,通過音頻/視頻模版比對技術對直播節目進行比對分析,以及時發現直播節目中被非法篡改的節目,進而對直播節目的來源是否合法進行監測。
(2)點播節目內容合法性監測
在用戶終端⑤,對點播節目進行採集存儲,進行智能分析,以便自動發現非法的IPTV點播節目內容,例如判斷節目視頻中是否含有 、 、反動、危害社會穩定等各種違規內容。
等保平台
識別處理多種網絡、安全廠家的產品日誌。自動收集各種安全設備(如防火牆,IDS、AV等)、網絡設備(如路由器、交換機)、應用系統(如Web、 Mail)、操作系統(如Windows、 Linux、 Unix)等所產生的海量安全信息數據,數據採集速度高達20000條/秒;
支持遠程、代理兩種數據收集模式。支持Syslog、SNMP Trap、Netflow、JDBC、SSH、SNMP Get、WMI、TelNet等協議安全信息數據收集。
綜合拓扑管理,支持網絡拓扑發現,自動生成網絡拓扑圖;支持對服務器的硬件狀態的監控。 支持對WebSphere、weblogic、Tomcat、JBOSS中間件的深入監控;機房監控,系統人機界面支持多機房管理,支持3D圖形化展示,以及各種機櫃監控參數的狀態變化。
事件追溯,在實時監視中,對於關聯事件,用戶可以進行追溯;內置漏洞掃描引擎,支持多任務快速掃描。
1、脆弱性掃描:識別網絡、操作系統、數據庫、應用的脆弱性,給出修補建議;
2、滲透測試:結合專用的滲透測試工具開展模擬探測和入侵,判斷被非法訪問者利用的可能性;
3、靜態分析:使用自動化或半自動化工具軟件對程序源代碼進行檢查,以分析程序行為的技術;
4、性能測試:通過自動化手段模擬多種正常、峰值以及異常負載條件來對系統或網絡
負載、強度或容量等各項性能指標進行測試;
5、協議分析:分析網絡數據包、了解信息和相關的數據包在產生和傳輸過程中的行為;
6、物理環境檢測:對放置信息系統主要設備(服務器、網絡設備、數據存儲器等)的場所的物理特性進行檢測;
7、網絡拓扑生產檢測:通過接入點接入被測評網絡,自動完成被測評網絡中資產的發現和統計功能,並提供網絡資產的相關信息,包括網絡硬件設備的識別、操作系統版本、型號,同時自動生成拓扑結構圖等。
8、安全配置檢測:按照一定的安全基線或基準安全標準,形成完整的安全配置內置知識庫,實現對設備或軟件安全配置的快速、有效、集中搜集,並識別與安全基線不符合的項目,形成核查報告;