日韩精品一区二区三区swag_一区二区三区在线高清_亚洲国内欧美_国产精品xnxxcom

　今年4月，Meta的AI模型Segment Anything Model（SAM，分割一切模型）發布,一鍵輕松實現圖像分割，難怪網友直呼太強。
 
　　SAM模型之所以在計算機視覺領域產生重要影響，是因為圖像分割是許多任務中的基礎步驟，比如自動駕駛、人臉識別、車牌識別等都有用到。
 
　　在這些應用過程中，從目標檢測、分割再到識別的整個流程，由算法自動完成，無需人工干預，而SAM模型正是專攻其中的圖像分割。
 
　　雖然SAM是圖像分割的代表性模型，但不可避免存在以下短板：
 
　　1.它能夠處理圖片分割，但是不能處理視頻，尤其是不能對視頻里邊移動的物體做連續追蹤。
 
　　2.它能分割，但是并不認識所分割的區域到底是什么。
 
　　3.它存在過度分割的問題，經常把一個完整的物體分割成不同的部分，而人是把目標作為整體看待的。
 
　　一、SAV模型
 
　　現在，云創數據（835305.BJ）在SAM和YOLOv8的基礎上，“分割一切”模型的進化版——分割一切視頻Segment-Any-Video(SAV)來了，進一步豐富了計算機視覺成果。
 

圖片SAV模型（圖片來源:SAV）
 
　　作為一種新的圖像、視頻分割方法，SAV可以在圖片或視頻中實現全自動標注，一鍵分割物體。
 
　　同時，基于Zero-Shot Transfer（零樣本遷移），SAV無需額外訓練，即使是訓練庫中沒有的圖片，也可以實現輕松分割。
 
　　與SAM相比，SAV升級主要表現在以下方面：
 
　　1.既可以分割圖片，也可以分割視頻；
　　2.可以明確目標對象并打標簽；
　　3.可得到語義上完整的目標區域。
 

圖片SAV與SAM圖像分割對比結果（圖片來源:SAV）
 
　　從上圖可以看出，SAV將巴士、小汽車等分割成一個個完整的區域，而SAM是把這些單個的物體又分割為不同的區域。
 
　　除了圖片以外，通過SAV，視頻也可以進行清晰的目標分割和追蹤。
 
　　二、示例
 
　　現在，我們在網頁版 demo (http://sav.cstor.cn)上體驗一下SAV，可以直觀地感受SAM和SAV兩者的差異。
 
　　在首頁可任意選擇一張示例圖片，也可從本地上傳圖片，然后點擊Segment按鈕，就可以同時得到SAM和SAV的結果。
 

demo首頁示例圖片（圖片來源:SAV）
 


圖片分割結果：左側為SAM，右側為SAV（圖片來源:SAV）
 
　　如果需要觀察某個實例的詳細效果，鼠標放置原圖，移動鼠標即可。
 


圖片移動鼠標查看詳細分割效果（圖片來源:SAV）
 
　　在上圖中，由SAV分割的兩只小狗是完整而獨立的色塊，并不像左邊分割結果所展示——小狗耳朵顏色和身體部分顏色不一，不是完整的目標對象。同時，SAV分割的兩只小狗都打上了“dog”的標簽。
 
　　需要說明的是，本項目只關注算法自動分割的應用場景，所以SAV無需人工輸入點、曲線、矩形框等提示信息。
 
　　更多示例如下：
 

 

 


圖片圖片分割結果對比（圖片來源:SAV）
 
　　三、原理
 
　　如前所述， SAM的自動分割不返回標簽信息，并且一個實例（例如，一輛車）可能會被拆分成多個小區域。
 

自動分割模式下，SAM不返回標簽信息，車輛被分割成多個區域（圖片來源:SAM）
 
　　基于此，研發團隊在SAM的基礎上加入YOLOv8檢測模型，YOLOv8返回的結果中包含目標框、類別及置信度，目標框可作為提示信息輸入到SAM，類別名稱即為標簽，因此SAM加YOLOv8可有效地解決上述問題。
 
　　該方法同樣可用于視頻分割任務，與處理單幅圖像不同的是，除了分割，我們通常更關心目標的運動軌跡、目標重識別，以及如何實現一鍵摳視頻等。因此研發團隊在SAM和YOLOv8的基礎上加入跟蹤算法，持續關注感興趣的目標，這樣比單純地分割每幀圖像更有實際意義。
 
　　考慮到使用