原標題:業界 | 騰訊AI Lab獲得計算機視覺權威賽事MSC台中產後護理推薦OCO Captions冠軍
機器之心發佈
台中產後照護介紹
機器之心編輯部
台中產後護理中心介紹
2017 年 8 月，在圖像描述生成技術這一熱門的計算機視覺與 NLP 交叉研究領域，騰訊 AI Lab 憑借自主研發的強化學習算法在微軟 MS COCO 相關的 Image Captioning 任務上排名第一，超過瞭微軟、谷歌、IBM 等參賽公司，體現瞭在這一 AI 前沿領域的技術優勢。
台中月子中心餐點
MS COCO (Microsoft Common Objects in Context，常見物體圖像識別) 數據集（http://cocodataset.org/）是由微軟發佈並維護的圖像數據集。在這個數據集上，共有物體檢測 (Detection)、人體關鍵點檢測 (Keypoints)、圖像分割 (Stuff)、圖像描述生成 (Captions) 四個類別的比賽任務。由於這些視覺任務是計算機視覺領域當前最受關註和最有代表性的，MS COCO 成為瞭圖像理解與分析方向最重要的標桿之一。其中圖像描述生成任務 (Captions)，需要同時對圖像與文本進行深度的理解與分析，相比其他三個任務更具有挑戰性，因此也吸引瞭更多的工業界（Google，IBM，Microsoft）以及國際頂尖院校（UC Berkeley、Stanford University）的參賽隊伍，迄今共有 80 個隊伍參與這項比賽。
通俗來說，圖像描述生成（image captioning）研究的是使機器擁有人類理解圖像的能力，並用人類語言描述感知到的圖像內容。圖像描述生成使得機器可以幫助有視覺障礙的人來理解圖像，給圖像提供除瞭標簽（tag）以外更加豐富的描述，因此這項任務具有廣泛的實際意義。從學術研究的角度來說，圖像描述生成的研究不僅僅需要理解圖像，更需要理解自然語言，是一個跨學科跨模態的交叉研究課題，也是對深度神經網絡的學習能力向多個數據域擴展的一步重要的台中五星級月子中心探索。因此，眾多科技企業和科研機構參與瞭此任務，包括 Google [1][3]、Microsoft [5]、IBM [2]、Snapchat [4]、Montreal/Toronto University [6]、UC Berkeley [7]、 Stanford University [8]、百度 [9] 等。
最近，騰訊 AI Lab 研發瞭新的強化學習算法（Reinforcement Learning）以進一步提高圖像描述生成的模型能力，如上圖所示。相應的圖像描述生成模型，采用瞭編碼器-解碼器（encoder-decoder）[1] 的框架，同時引入瞭註意力（attention）的機制 [3]。基於之前研究的空間和通道註意力模型（spatial and channel-wise attention）[10] 的研究成果, AI Lab 構建瞭新網絡模型引入瞭一個多階段的註意力機制（Multi-stage Attention）。編碼器，使用已有的圖像卷積神經網絡（CNN）如 VGG，Inception，ResNet 等，將給定的圖像編碼成為蘊含圖像語義信息的向量。這些向量能夠表征圖像不同尺度的語義信息，譬如全局的語義、多尺度的局部語義。解碼器，使用當前最流行的長短時記憶模型（LSTM），將編碼器得到的圖像的全局和局部語義向量，解碼生成描述圖像內容的文本語句。正是在解碼的過程中，AI Lab 創新性地使用瞭多階段的註意力機制：將圖像不同尺度的局部語義信息，通過不同階段的註意力模塊，嵌入到每一個單詞的生成過程中；同時註意力模塊需要考慮不同尺度引入的不同階段的註意力信號強弱。
除瞭引入多階段的註意力機制，AI Lab 所研發的強化學習算法能進一步提升構建的網絡模型的訓練效果。使用傳統的交叉熵（cross entropy）作為損失函數進行訓練，無法充分地優化圖像描述生成的衡量指標，譬如 BLEU，METEOR，ROUGE，CIDER，SPICE 等。這些衡量指標作為損失函數都是不可微的。針對此不可微的問題，AI Lab 使用強化學習算法訓練網絡模型以優化這些衡量指標。訓練過程可概括為：給定一副圖像，通過深度網絡模型產生相應的語句，將相應的語句與標註語句比對以計算相應的衡量指標；使用強化學習構建深度網絡模型的梯度信息，執行梯度下降完成網絡的最終優化。最終，通過充分的訓練，騰訊 AI Lab 研發的圖像描述生成模型在微軟 MS COCO 的 Captions 任務上排名第一，超過瞭微軟、谷歌、IBM 等科技公司。
[1]. O. Vinyals, A. Toshev, S. Bengio, and D. Erhan,「Show and Tell: A Neural Image Caption Generator」, CVPR 2015.
[2]. S. J. Rennie, E. Marcheret, Y. Mroueh, J. Ross, and V. Goel,「Self-critical Sequence Training for Image Captioning」, CVPR 2017.
[3]. S. Liu; Z. Zhu; N. Ye; S. Guadarrama; and K. Murphy,「Improved Image Captioning via Policy Gradient Optimization of SPIDEr」, ICCV 2017.
[4]. Z. Ren, X. Wang, N. Zhang, X. Lv, and Li-Jia Li,「Deep Reinforcement Learning-Based Image Captioning With Embedding Reward」, CVPR 2017.
[5]. H. Fang, S. Gupta, F. Iandola, R. Srivastava, L. Deng, P. Dollár, J. Gao, X. He, M. Mitchell, J. Platt, C.L. Zitnick, and G. Zweig,「From Captions to Visual Concepts and Back」, CVPR 2015.
[6]. K. Xu, J. Ba, R. Kiros, K. Cho, A. Courville, R. Salakhudinov, R. Zemel, and Y. Bengio. Show,「Attend and Tell: Neural Image Caption Generation with Visual Attention」, ICML 2015.
[7]. J. Donahue, L. Hendricks, S. Guadarrama, M. Rohrbach, S. Venugopalan, K. Saenko, and T. Darrell,「Long-term Recurrent Convolutional Networks for Visual Recognition and Description」, CVPR 2015.
[8]. A. Karpathy and Li Fei-Fei,「Deep Visual-Semantic Alignments for Generating Image Descriptions」, CVPR 2015.
[9]. J. Mao, W. Xu, Y. Yang, J. Wang, and A. L. Yuille,「Deep Captioning with Multimodal Recurrent Neural Networks (m-RNN)」, ICLR 2015.
[10]. L. Chen, H. Zhang, J. Xiao, L. Nie, J. Shao, W. Liu, and T. Chua,「SCA-CNN: Spatial and Channel-wise Attention in Convolutional Networks for Image Captioning」, CVPR 2017.
台灣電動床工廠
電動床
台灣電動床工廠
電動床
AUGI SPORTS｜重機車靴｜重機車靴推薦｜重機專用車靴｜重機防摔鞋｜重機防摔鞋推薦｜重機防摔鞋
AUGI SPORTS｜augisports｜racing boots｜urban boots｜motorcycle boots
一川抽水肥清理行｜台中抽水肥｜台中市抽水肥｜台中抽水肥推薦｜台中抽水肥價格｜台中水肥清運
X戰警多鏡頭行車記錄器專業網｜多鏡頭行車記錄器｜多鏡頭行車紀錄器比較｜多鏡頭行車紀錄器推薦｜多鏡頭行車紀錄器影片
台中抽水肥專業網｜台中抽水肥｜台中市抽水肥｜台中抽水肥推薦｜台中抽水肥價格｜台中水肥清運
台灣靜電機批發工廠｜靜電機｜靜電機推薦｜靜電油煙處理機｜靜電油煙處理機推薦
優美環保科技工程-靜電機,靜電機推薦,靜電機保養,靜電機清洗,靜電油煙處理機
文章標籤
全站熱搜
留言列表
