CN113902989B 直播場景檢測方法、存儲介質(zhì)及電子設(shè)備 （騰訊音樂娛樂科技（深圳）有限公司）

司域和背景區(qū)域，其中所述前景區(qū)域包括運動目態(tài)特征和所述環(huán)境的屬性特征進行多模態(tài)特征2針對待檢測的視頻的視頻幀，基于目標(biāo)是否運動分割前景將所述運動目標(biāo)的儀態(tài)特征和所述環(huán)境的屬性特征進行多模態(tài)獲得所述運動目標(biāo)的儀態(tài)特征對應(yīng)的向量以及所述環(huán)境的屬利用所述運動目標(biāo)的儀態(tài)特征及所述環(huán)境的屬性特征分別對應(yīng)的向量構(gòu)建特征矩陣，將所述特征矩陣輸入訓(xùn)練好的多層感知機，以由所述多層感知機輸出場景分類向量，其中所述場景分類向量中的元素用于表示直播視頻的場根據(jù)場景分類向量中的元素確定所述視頻是3針對所述二值化圖像執(zhí)行膨脹操作和腐蝕操作，以獲得所述前景區(qū)域的至少部分邊將所述視頻幀的下邊框與所述至少部分邊界所圍成的區(qū)域確定為所在經(jīng)劃分的圖像中確定一個或多個連續(xù)網(wǎng)格將所述模板圖像與圖像數(shù)據(jù)庫中的樣本圖像分別進行模板匹配將所述節(jié)拍特征與所述運動目標(biāo)的儀態(tài)特征和所述環(huán)境的屬性特征進行多模態(tài)特征置成被運行時執(zhí)行根據(jù)權(quán)利要求1至13中任一項所述器被配置為在運行計算機程序時執(zhí)行根據(jù)權(quán)利要求1至13中任一項所述的直播場景檢測方45所述處理器被配置為在運行計算機程序時執(zhí)行任一本發(fā)明實施例的直播場[0023]圖3示出了根據(jù)本發(fā)明實施例的分割前景區(qū)域和背景區(qū)域的方法的示意性流程[0026]圖6示出了根據(jù)本發(fā)明實施例的圖4所示的二值化圖像中前景區(qū)域的至少部分邊[0030]圖10示出了根據(jù)本發(fā)明實施例的基于關(guān)鍵部位確定人物的姿態(tài)關(guān)鍵點的方法的[0033]圖13示出了根據(jù)本發(fā)明實施例的識別背景區(qū)域中的環(huán)境的屬性的方法的示意性[0036]圖16示出了根據(jù)本發(fā)明實施例的對視頻的聲音進行節(jié)拍檢測的方法的示意性流[0038]圖18示出了根據(jù)本發(fā)明實施例的視頻中聲音的差值音頻序列的頻域信號的波形6[0039]圖19示出了根據(jù)本發(fā)明實施例的特征融合以獲得視頻特征并基于視頻特征預(yù)測[0042]圖22示出了能實施根據(jù)本發(fā)明實施例的直播場景檢測方法的電子設(shè)備的示例性[0044]如背景技術(shù)中所述，現(xiàn)有的直播場景檢測方法僅僅通過單幅圖像來判斷直播情應(yīng)地涉及對應(yīng)的裝置以及實施上述方法的計算機系統(tǒng)和存儲有可執(zhí)行上述方法的程序的所述直播場景檢測方法100可以包括步驟S110至步驟象或周圍環(huán)境則可以認(rèn)為是背景區(qū)域。圖2示出了根據(jù)本發(fā)明實施例的待檢測的視頻的視人物以及二人所處的周圍環(huán)境可能是這一視頻幀的背[0051]在得到前景區(qū)域和背景區(qū)域后，可以對前景區(qū)域中的運7[0058]根據(jù)上述技術(shù)方案，可以利用經(jīng)多模態(tài)特征融合后的視頻特征進行直播場景檢[0059]圖3示出了根據(jù)本發(fā)明實施例的分割前景區(qū)域和背景區(qū)域的示意性流程圖。參見8y)|[0067]圖4示出了根據(jù)本發(fā)明實施例將圖2所示視頻幀對應(yīng)的差分圖像進行二值化處理[0069]根據(jù)上述步驟已經(jīng)得到了二值化圖像，其中灰度值為255的像素點為前景區(qū)域中[0070]為了幫助理解，圖5示出了根據(jù)本發(fā)明實施例的分割前景區(qū)域和背景區(qū)域的示意9[0081]圖8示出了根據(jù)本發(fā)明實施例的對人物進行姿態(tài)估計的方法的示意性流程圖。參在將相關(guān)聯(lián)的關(guān)鍵點均進行了連接后，將獲得一個類似人體骨架圖的由線段構(gòu)成的圖形。[0089]圖10示出了根據(jù)本發(fā)明實施例的基于關(guān)鍵部位確定人物的姿態(tài)關(guān)鍵點的方法的[0095]在確定了平行四邊形的短邊之后，可以根據(jù)短邊的位置和長度確定短邊的中以獲得如圖11所示的人物的姿態(tài)估計框架的對人物進行表情檢測的步驟可以包括步驟S134和步驟21或22-26的關(guān)鍵點與面部識別框上邊界的距離與面部識別框高度的比值越小時，可以表[0103]圖13示出了根據(jù)本發(fā)明實施例的識別背景區(qū)域中的環(huán)境的屬性的方法的示意性的環(huán)境的屬性的干擾。圖14示出了根據(jù)本發(fā)明實施例的對背景區(qū)域進行網(wǎng)格劃分的示意[0115]圖17示出了根據(jù)本發(fā)明實施例的視頻中的聲音的音頻幅值數(shù)據(jù)的波形的示意[0123]圖19示出了根據(jù)本發(fā)明實施例的特征融合以獲得視頻特征并基于視頻特征預(yù)測[0124]步驟S171，獲得運動目標(biāo)的儀態(tài)特征對應(yīng)的向量以及環(huán)境的屬性特征對應(yīng)的向運動目標(biāo)的儀態(tài)特征以及環(huán)境的屬性特征各[0127]根據(jù)前述步驟S171可以得到運動目標(biāo)的儀態(tài)特征對應(yīng)的向量以及環(huán)境的屬性特2……分別表示上述運動目標(biāo)的儀態(tài)特征[0131]多層感知機(MLP)是一種前饋人工神經(jīng)網(wǎng)絡(luò)模型，訓(xùn)練好的多層感知機是指對其輸出的場景分類向量可以是其中每個元素分別表示視頻是該元素所對應(yīng)的場景的頻幀所獲得的場景分類向量表示這些視頻幀為室內(nèi)讀書場景，基于后5個視頻幀所獲得的場景分類向量表示這些視頻幀為室內(nèi)唱歌場景，則將該待檢測的視頻檢測為室內(nèi)讀書場量以及環(huán)境的屬性特征進行多模態(tài)特征融合為例，來描述獲得視頻的視頻特征的具體過[0137]場景標(biāo)簽數(shù)據(jù)可以是訓(xùn)練視[0139]其中，bn表示將訓(xùn)練視頻的所有視頻幀所對應(yīng)的所有場景標(biāo)簽數(shù)據(jù)均分為N個批[0141]批梯度下降算法針對的是計算出的所有交叉熵損失函數(shù)的函數(shù)值，即整個數(shù)據(jù)度下降算法可以在每次迭代的過程中利用部分樣本算機程序配置成被運行時執(zhí)行任一本發(fā)明實施例器，所述處理器被配置為在運行計算機程序時執(zhí)行任一本發(fā)明實施例的直播場景檢測方[0149]圖22示出了一種可以實施本發(fā)明實施例的直播場景檢測方法的電子設(shè)備2200的儲器(ROM)2202中的程序和/或數(shù)據(jù)或者從存儲部分2208加載到隨機訪問存儲器(RAM)2203ROM2202以及RAM2203通過總線2204彼此相連。輸入/輸出(I/O)接口2205也連接至總線行時能夠?qū)崿F(xiàn)上述各實施例描述的直播場景檢測方法或裝置的步驟由任何方法或技術(shù)來實現(xiàn)信息存儲的物品。存儲介質(zhì)的例子包括，但不限于相變內(nèi)存系統(tǒng)及方法的最佳模式的示例。本領(lǐng)域的技術(shù)人員可以理解的是可以在實施本系統(tǒng)及/或方法時對這里描述的系統(tǒng)及方法的實施例做各種改變而不脫離界定在所附權(quán)利要求中的