分類實驗（區分 滑/曲球 與 變速/指叉球 二類）

2:滑/曲球
3:變速/指叉球

實驗一
使用特徵：用frames數、落點本壘距離、末五個角度

Label 2 P:0.80342 R:0.96907
Label 3 P:0.25000 R:0.04167
總覽 (95/121) 0.78512


實驗二
使用特徵：實驗一加上x,y的平均、標準差

Label 2 P:0.85714 R:0.92784
Label 3 P:0.56250 R:0.37500
總覽 (99/121) 0.81818


實驗三
使用特徵：實驗一加上角度（標準差）

Label 2 P:0.83036 R:0.95876
Label 3 P:0.55556 R:0.20833
總覽 (98/121) 0.80992


實驗四
使用特徵：實驗一加上角度（標準差）、x,y的平均、標準差

Label 2 P:0.85047 R:0.93814
Label 3 P:0.57143 R:0.33333
總覽 (99/121) 0.81818


實驗五
使用特徵：實驗四加上角度（平均）

Label 2 P:0.87255 R:0.91753
Label 3 P:0.57895 R:0.45833
總覽 (100/121) 0.82645


實驗六
使用特徵：實驗四加上前五球速度推算的x,y落差

Label 2 P:0.86538 R:0.92784
Label 3 P:0.58824 R:0.41667
總覽 (100/121) 0.82645


實驗七
使用特徵：實驗六加上末點落差

Label 2 P:0.86916 R:0.95876
Label 3 P:0.71429 R:0.41667
總覽 (103/121) 0.85124


實驗八
使用特徵：實驗七加上角度（平均）

Label 2 P:0.88776 R:0.89691
Label 3 P:0.56522 R:0.54167
總覽 (100/121) 0.82645

分類實驗（判斷是否為直球）

1:直球
0:非直球

實驗一
使用特徵：用frames數、落點本壘距離、末五個角度

Label 0 P:0.82171 R:0.87603
Label 1 P:0.85577 R:0.79464
總覽 (195/233) 0.83691


實驗二
使用特徵：實驗一加上x,y的平均、標準差

Label 0 P:0.86822 R:0.92562
Label 1 P:0.91346 R:0.84821
總覽 (207/233) 0.88841


實驗三
使用特徵：實驗一加上角度（標準差）

Label 0 P:0.82540 R:0.85950
Label 1 P:0.84112 R:0.80357
總覽 (194/233) 0.83262

實驗四
使用特徵：實驗一加上角度（標準差）、x,y的平均、標準差

Label 0 P:0.86614 R:0.90909
Label 1 P:0.89623 R:0.84821
總覽 (205/233) 0.87983

實驗五
使用特徵：實驗四加上角度（平均）

Label 0 P:0.88189 R:0.92562
Label 1 P:0.91509 R:0.86607
總覽 (209/233) 0.89700

實驗六

使用特徵：實驗四加上前五球速度推算的x,y落差
Label 0 P:0.93548 R:0.95868
Label 1 P:0.95413 R:0.92857
總覽 (220/233) 0.94421


實驗七
使用特徵：實驗六加上末點落差

Label 0 P:0.90625 R:0.95868
Label 1 P:0.95238 R:0.89286
總覽 (216/233) 0.92704

實驗八

使用特徵：實驗七加上角度（平均）

Label 0 P:0.92857 R:0.96694
Label 1 P:0.96262 R:0.91964
總覽 (220/233) 0.94421

分類實驗（分三類）

實驗一
使用特徵：用frames數、落點本壘距離、末五個角度
Label 1 P:0.84071 R:0.84821
Label 2 P:0.65812 R:0.79381
Label 3 P:0.33333 R:0.04167
總覽 (173/233) 0.74249

實驗二
使用特徵：實驗一加上x,y的平均、標準差

Label 1 P:0.84545 R:0.83036
Label 2 P:0.70588 R:0.74227
Label 3 P:0.42857 R:0.37500
總覽 (174/233) 0.74678


實驗三
使用特徵：實驗一加上角度（標準差）

Label 1 P:0.84821 R:0.84821
Label 2 P:0.67241 R:0.80412
Label 3 P:0.20000 R:0.04167
總覽 (174/233) 0.74678


實驗四
使用特徵：實驗一加上角度（標準差）、x,y的平均、標準差

Label 1 P:0.91346 R:0.84821
Label 2 P:0.72321 R:0.83505
Label 3 P:0.47059 R:0.33333
總覽 (184/233) 0.78970


實驗五
使用特徵：實驗四加上角度（平均）

Label 1 P:0.94286 R:0.88393
Label 2 P:0.78704 R:0.87629
Label 3 P:0.65000 R:0.54167
總覽 (197/233) 0.84549


實驗六
使用特徵：實驗四加上前五球速度推算的x,y落差

Label 1 P:0.95413 R:0.92857
Label 2 P:0.77876 R:0.90722
Label 3 P:0.45455 R:0.20833
總覽 (197/233) 0.84549


實驗七
使用特徵：實驗六加上末點落差

Label 1 P:0.94444 R:0.91071
Label 2 P:0.76522 R:0.90722
Label 3 P:0.50000 R:0.20833
總覽 (195/233) 0.83691


實驗八
使用特徵：實驗七加上角度（平均）

Label 1 P:0.96226 R:0.91071
Label 2 P:0.78571 R:0.90722
Label 3 P:0.60000 R:0.37500
總覽 (199/233) 0.85408

Features

• 投手投出到被打者打擊或補手接住之間球出現的frame個數
• 速度
• 投手—捕手連線與球行進方向的夾角
• 最後五個frame
• 與球下墜路徑有關
• 最後一個球出現的位置與本壘位置的距離
• 球落點偏移本壘的幅度
• X,Y的平均與標準差
• X為投手板到本壘板連線設為單位向量
• Y為出手點到投手板的垂直距離設為單位向量
• 角度的平均與標準差
• 每兩個frame之間球的位移向量與投手丘和本壘板連線，所形成的夾角平均及標準差
• 與各球種的行進軌跡有關
• Break
• 球出手的直線與最後進手套時垂直的高度差
• 頭五個向量平均與最後落點的差距？
• 從前五個向量預測球進手套的位置，與實際位置的差異量

影片前置處理

• 由影片擷取frame
• 自動抓影片並生出frames的script
• 最後使用233球
• 分成直球、滑球與變速球、曲球三類
• 找出球在影像中的位置
• 用程式找
• 困難
• 球小
• 殘影
• 球員服裝顏色
• 背景廣告顏色
• 人工標記
• 標記系統
• 球
• 本壘板位置
• 投手位置
• 真的沒辦法人工辨識的影格用前後影格做內插

實驗步驟

• 影片前置處理
• 由影片擷取出frames
• 由frames中擷取出球的位置
• 標記系統
• 球種判定
• 特徵挑選
• 建立模型
• libsvm
• 5 fold cross validation

[paper] Trajectory-based ball detection and tracking with applications to semantic analysis of broadcast soccer video

Trajectory-based ball detection and tracking with applications to semantic analysis of broadcast soccer video

paper裡主要講到，他們使用來偵測球的方法是使用消去法，有以下幾點

1. Ball Size : 太大的一定不是球
2. Line : 很長的線不是，我們不太有這樣的問題
3. Ball Color : 某些部份一定會存在球的顏色
4. Shape : 接近球狀，因為錄影殘影的變形時，長寬比還是會低於3
5. Ball Center : 球的中心點顏色一定是落在球色的範圍

不過都沒有講詳細的情況，我們可以嘗試看看

最後把剩下球的可能位置都標示出來，再使用Kalman filter去進行軌跡預測