1.全連接層是什么意思

機器之心專欄機器之心編輯部美圖影像研究院（MT Lab）與新加坡國立大學提出高效的 MLP（多層感知機模型）視頻主干網(wǎng)絡(luò)，用于解決極具挑戰(zhàn)性的視頻時空建模問題該方法僅用簡單的全連接層來處理視頻數(shù)據(jù)，提高效率的同時有效學習了視頻中細粒度的特征，進而提升了視頻主干網(wǎng)絡(luò)框架的精度。

2.全連接層的作用

此外，將此網(wǎng)絡(luò)適配到圖像域（圖像分類分割），也取得了具有競爭力的結(jié)pourhub果

3.全連接層 linear

打開鳳凰新聞，查看更多高清圖片引言由于 Vision Transformer (ViT)[1] 的開創(chuàng)性工作，基于注意力的架構(gòu)在各種計算機視覺任務(wù)中顯示出強大的能力，從圖像域到視頻域都取得了良好的效果然而近期的研究表明，自注意力可能并不重要，因其可以被簡單的多層感知器 (MLP) 取代，目前通過替代注意力框架的方法已經(jīng)在圖像域任務(wù)上開發(fā)了許多類似 MLP 的架構(gòu)，且取得了可喜的成果。

4.全連接層的計算

但在視頻域該應(yīng)用仍屬空白，因此是否有可能設(shè)計一個通用的 MLP 視頻域架構(gòu)成為受到關(guān)注的新問題美圖影像研究院（MT Lab）聯(lián)合新加坡國立大學 Show Lab 提出了pourhub一種 MLP 視頻主干網(wǎng)絡(luò)，實現(xiàn)了在視頻分類上的高效視頻時空建模

5.全連接層可以不加激活函數(shù)

該網(wǎng)絡(luò)模型在空間上提出 MorphFC，在早期層關(guān)注局部細節(jié)，隨著網(wǎng)絡(luò)的加深，逐漸轉(zhuǎn)變?yōu)閷h程信息進行建模，從而 克服了當前 CNN 和 MLP 模型只能進行局部或者全局建模的問題 在時間上，該網(wǎng)絡(luò)模型引入了時間路徑來捕獲視頻中的長期時間信息，將所有相同空間位置幀的像素進行連接，并合并為一個塊。

6.全連接層的公式

同時，每個塊都會經(jīng)過全連接層處理得到一個新的塊基于空間和時間上的建模，研究者們廣泛探索了建立視頻主干的各種方法，最終按照串聯(lián)的順序依次對空間和時間信息進行建模，并以高效的時空表示學習框架表示該網(wǎng)pourhub絡(luò)模型 。

7.全連接層如何進行分類

首次提出不借助卷積和自注意力機制，僅用全連接層進行高效的視頻時空建模的方法，對比之前的視頻 CNN 和 Transformer 架構(gòu)，該網(wǎng)絡(luò)模型在提升精度的同時還降低了計算量 此外，將此網(wǎng)絡(luò)適配到圖像域（圖像分類分割），也取得了具有競爭力的結(jié)果。

8.全連接層的激活函數(shù)

該論文目前已被國際會議 ECCV 2022 接收背景介紹由于 MLP 模型尚未在視頻領(lǐng)域進行應(yīng)用，研究者們 首先分析了在時空表示學習框架中使用 MLP 所面臨的挑戰(zhàn) 從空間角度上看，當前的 MLP 模型缺乏對語義細節(jié)的深刻理解。

9.全連接層的參數(shù)

這主要是因為它們在空間中的所有令牌上全局操作 MLPpourhub，同時忽略了分層學習視覺表征（如下圖 1 所示）從時間角度上看，學習視頻中幀的長期依賴關(guān)系目前基于視頻的 Transformers 來實現(xiàn)，但計算時間成本巨大。

10.全連接層個數(shù)

因此，如何有效地利用連接層替換遠程聚合的自注意力對節(jié)省計算時間至關(guān)重要

圖 1：特征可視化為了應(yīng)對這些挑戰(zhàn)，研究者們提出了一種 高效的 MLP 視頻表示學習架構(gòu)，即MorpMLP ，它由 MorphFCs 和 MorphFCt 兩個關(guān)鍵層組成研究者們沿著長和寬的方向逐漸擴大了感受野，使得 MorphFC 可以有效地捕捉空間中的核心語義（如下圖 2 所示）。

圖 2：操作概覽這種漸進式的模式與現(xiàn)有的 MLP 模型設(shè)計相比，在pourhub空間建模方面帶來了以下兩個優(yōu)勢首先，它可以通過從小到大的空間區(qū)域操作全連接層，學習分層交互以發(fā)現(xiàn)判別性細節(jié)；其次，這種從小到大的區(qū)域建?？梢杂行p少用于空間建模的全連接層的操作計算量。

此外，MorphFCt 可以自適應(yīng)地捕獲對幀的時序遠程依賴研究者們將所有幀中每個空間位置的特征連接到一個時間塊中，通過這種方式，全連接層可以有效地處理每個時間塊，并對長期時間依賴進行建模最后，通過依次排列 MorphFC 和 MorphFCt 構(gòu)建一個 MorphMLP 塊，并將這些塊堆疊到通用的 MorphMLP 主干網(wǎng)絡(luò)中進行視頻建模。

一方面，這種分層方式可以擴大 MorphFCs 和 MorphFCt 的協(xié)pourhub作能力，用以學習視頻中復雜的時空交互；另一方面，這種多尺度和多維度的分解方法在準確性和效率之間取得了更好的平衡MorphMLP 是 。

首個為視頻領(lǐng)域構(gòu)建的高效 MLP 架構(gòu)，與此前最先進的視頻模型相比，該模型顯著減少了計算量且精度更高 MorphMLP 的時空建模模型空間建模如上所述，挖掘核心語義對于視頻識別至關(guān)重要典型的 CNN 和以前的 MLP-Like 架構(gòu)只關(guān)注局部或全局信息建模，因此它們無法做到這一點。

為了應(yīng)對這一挑戰(zhàn)，研究者們提出了一種新穎的 MorphFC 層，它可以分層擴展全連接層的感受野，使其從小區(qū)域到大區(qū)域運行，按水平和垂直方向獨立地處理每一幀以水平方向處理為例（如下圖 3pourhub 中藍色塊部分），給定某一幀，首先沿水平方向拆分該幀形成塊，并將每個塊沿通道維度分成多個組，以降低計算成本。

接下來，將每個組展平為一維向量，并應(yīng)用全連接層來進行特征轉(zhuǎn)換特征轉(zhuǎn)換完成后，重塑所有組回到該幀原來的維度，垂直方向處理方式相同（如圖 3 中綠色塊部分）除了沿水平和垂直方向拆分，還應(yīng)用了一個全連接層來單獨處理每個空間位置，以保證組與組之間能夠沿著通道維度進行通信。

最后，再將水平、垂直和通道特征相加。隨著網(wǎng)絡(luò)的加深，塊長度分層增加，從而使得全連接層能夠從小空間區(qū)域到大空間區(qū)域逐步發(fā)現(xiàn)更多核心語義。

圖 3：空間建模時間建模除了水平和垂直通路外，研究者們還引入了另一個時間通路，旨在使用簡單的全pourhub連接層以低計算成本捕獲長期時間信息具體而言，給定輸入視頻后，先沿通道維度分成幾個組以降低計算成本，再將每個空間位置中所有幀的特征連接成一個塊，接著應(yīng)用全連接層來轉(zhuǎn)換時間特征，最后將所有塊重塑回原始維度。

通過這種方式，全連接層可以簡單地聚合塊中沿時間維度的依賴關(guān)系，以對時間進行建模（如下圖 4 中橙色塊部分）

圖 4：空間建模時空建模將時間和空間的全連接層串聯(lián)在一起，以實現(xiàn)更穩(wěn)定的時空優(yōu)化收斂并降低計算復雜度，最終構(gòu)建完成利用全連接層提取視頻特征的主干網(wǎng)絡(luò)，具體如下圖 5 所示在此基礎(chǔ)上，只需簡單地丟棄時間維度就可以完成到圖像域的適配。

圖 5：網(wǎng)絡(luò)架構(gòu)結(jié)果

表 1：在 k400 數(shù)據(jù)集上的準確率和計pourhub算量表現(xiàn)

表 2：在 Something-Something 數(shù)據(jù)集上的準確率和計算量表現(xiàn)

表 3：圖像領(lǐng)域適配在 ImageNet 上的準確率和計算量表現(xiàn)

表 4：圖像分割表現(xiàn)總結(jié)在本文中，研究者們提出了一種用于視頻表示學習的無自注意力、類似 MLP 的主干網(wǎng)絡(luò) MorphMLP該方法能夠逐步發(fā)現(xiàn)核心語義并捕獲長期時間信息，這也是第一個在視頻領(lǐng)域應(yīng)用 MLP 架構(gòu)的主干網(wǎng)絡(luò)。

實驗表明，這種無自注意力模型可以與基于自注意力的架構(gòu)一樣強大，甚至優(yōu)于基于自注意力的架構(gòu)