基于視覺捕捉的網球自拾取機器人系統
2017-8-10 來源：江南大學 機械工程學院(江蘇 無錫) 作者： 孫世俊 平雪良 曾慶鈺 董涵清 官樂樂
摘 要: 為了規避網球比賽的風險，提高效率，開發了一套基于視覺捕捉的網球自動拾取機器人系統，由移動機器人平臺搭載機械臂自由移動對散落在網球場地的網球進行偵測并拾取。采用基于 AＲM 的硬件架構搭建移動機器人的控制系統平臺，并通過網絡控制接口與機器人平臺上的圖像采集與識別模塊實現通信; 將視覺采集捕捉到的網球的位置信息傳送給控制器，控制移動機器人移動定位，機械臂配合實現網球拾取。經模擬網球場運行證明設計方案可行，視覺的引入節省了大量的人力與時間。開發的網球自拾取機器人系統有很強的實用性，具有一定的推廣意義。
關 鍵 詞:移動機器人; 視覺捕捉; 網球識別定位; 機械臂
日常網球訓練中，為了提高訓練效果，減輕運動員和教練員的負擔，在網球比賽中最大限度地規避球童受傷的風險，研究人員想到了用機器人來拾取網球。一般情況下，該技術主要包括以下內容:
①.機器人的路徑規劃。
路徑規劃技術是機器人控制技術研究中一個十分重要的問題，到目前為止，研究方法主要有傳統方法和智能法 2 大類。傳統的路徑規劃方法———自由空間法、圖搜索法、刪格解耦法和人工勢場法等; 智能路徑規劃的方法———基于模糊邏輯的機器人路徑規劃和基于神經網絡方法的機器人路徑規劃等［1-2］。
②.網球的定位問題，目前市場上機器人系統的目標定位多基于圖像處理的方法［3-4］，也有基于單目視覺的機器人定位方法［5］，這些方法對圖像處理的要求精度較高，算法也相對復雜，并不適用于普通工程技術人員的編程和操作，難以實現。
③.網球的抓取功能，目前市場上撿球機器人所采用的夾持器以虎鉗式為主，夾持精度不高，運動效率低，而專業化的機械臂價格昂貴，功能多樣化，可 以完 成 機 械臂在非特定環境下的自主抓取［6］。目前國內已有一部分可以拾取網球的機器人，但還沒有基于真實環境的機型［7］; 現有的機器人采用的抓取方法主要以虎鉗式為主，所用夾持器只有 2 ～ 3個自由度，自由度不高，作業半徑小。國外現有的拾取網球機器人只能實現半自動化，無法獨立自主找到散落的球并完成撿拾，而且因為體型過于龐大，無法運用于賽場?？傮w來說，國內外在通過移動平臺撿拾網球上的技術還是不夠成熟，提升空間很大，同時，它的市場前景又相當廣闊［8］。針對以上存在的問題，本文在以往方法的基礎上，改善網球自拾取過程的各個環節，提出一種基于視覺捕捉的網球自拾取方法，并設計整體方案，搭建物理樣機，開發出一套造價低廉，控制精度較高，適用于市場的網球拾取機器人系統，即移動機器人與機械臂聯合平臺，并進行效果驗證。
1. 總體方案設計
用機器人拾取網球，需要解決以下幾個問題: ①機器人的路徑規劃問題; ②機器人定位問題，有了準確的定位，才能讓移動機器人平臺進行精確地導航; ③如何實現網球的抓取問題。目前國內的網球拾取機器人主要通過傳感器獲取網球的信息，利用嵌入式系統控制車身運動，搜尋網球并利用特殊的拾球機構拾取網球［9］，拾取效率低，識別精度也不高。國外的網球拾取機器人功能結構復雜，造價昂貴，并不適用于市場的投放［10］。
本文利用一臺全方位移動平臺作為機器人框架的主體，系統利用紅外傳感器以及無刷電機的差速轉動實現循跡，利用超聲波傳感器進行測距，并通過對收集到的數據信息進行處理與分析而實現避障，很好地解決了機器人的路徑規劃問題。針對機器人定位問題，本文采用圖像識別模塊作為定位傳感器; 由于周圍環境的雜色對機器人定位算法有一定的影響，通過分析幾種常見的距離判斷算法，經過實驗，為機器人規劃出一塊確定的運動與識別區域實現了機器人的定位功能。針對網球的抓取，本文在移動機器人平臺上搭載一個六自由度機械手( 為簡化算法，本文只用了其中 3個自由度) ，根據圖像識別模塊得到的網球中心位置的 x，y 坐標值，計算出機械手各個關節抓取網球時需要轉動的角度 θ，根據串口中讀出的網球的寬度和高度計算出網球在圖像中的面積，通過判斷面積的大小，給機械臂發送抓取指令。具體方案如圖 1 所示。
2 .視覺捕捉與抓取
2． 1 視覺捕捉機器視覺
由于精確、快速和可數字化等優點被廣泛應用，其一般工作原理為: CCD 照相機攝取檢測圖象并轉化為數字信號，再采用先進的計算機硬件與軟件技術對圖象數字信號進行處理，從而得到所需要的各種目標圖象特征值，并由此實現模式識別、坐標計算、灰度分布圖等多種功能。再根據其結果顯示圖象、輸出數據、發出指令，配合執行機構完成位置調整、好壞篩選和數據統計等。
圖 1 總體方案
Figure 1 Overall program
本文采用圖像采集識別模塊，該模塊提供了 API函數供系統調用，通過識別網球的顏色( 灰度值) ，調用相應的函數可得到網球的寬度、高度、中心點的 x，y坐標。本文設定視窗捕捉范圍 x 方向為 0 ～ 360 mm，y方向 0 ～ 200 mm，通過串口監視器可以觀察到所獲得的位置信息，如圖 2 所示。
圖 2 獲得的位置信息
Figure 2 Position information obtained
2．2 自動抓取
圖像處理后小車可以實現對網球的實時追蹤。由于距離的不同，視野中各個網球的面積不是一個定值，網球與機器人距離較遠時，計算得到的網球面積較小，距離較近時，計算得到的網球面積較大。通過計算識別得到網球的面積，同時判斷小車與網球的距離，當網球面積達到設定值，調動機械手實現網球的抓取，如圖3 ～ 4 所示。
圖 3 抓取網球示意圖
Figure 3 Crawl tennis schemati
圖 4 運動原理圖
Figure 4 Schematic of motion
3 .實驗系統開發
3．1 硬件開發
為實現網球機器人在球場中的移動，本文參照自主研發的全方位移動平臺，采用基于 AＲM 的機器人控制硬件體系結構; 為了使機器人快速、準確地識別目標，采用高性能的圖像采集識別模塊; 網球抓取采用簡易機械臂實現。機器人通過網絡控制接口與移動平臺上的圖像采集與識別模塊實現通信，將捕捉到的位置信息傳輸到系統控制移動平臺，使機械臂實現移動定位和網球拾取。系統硬件主要由基于 AＲM Cortex-M3 的 32 位微處理器 STM32F103ZET6 芯片組成，該芯片主頻 72 MHz，擁有 256 k B Flash，48 k B SＲAM，且外設資源豐富，擁有多種定時器，支持 SPI，I2C，USAＲT，USB，CAN 等接口; 系統還選用 Pixy Cmu Cam5 圖像識別模塊并搭載了超聲波傳感器、紅外傳感器、藍牙模塊和 Wi Fi 控制模塊等，機器 人 總 體 硬 件 結 構 如 圖 5所示。
圖 5 機器人硬件結構
Figure 5 Ｒobot hardware structure
機器人移動平臺選用兩輪獨立驅動方式，驅動電機為無刷直流電機，由 BLCD-5015A 驅動器控制，機械手選用 AＲEXX 的六自由度機械手，可實現多角度抓取( 本文僅用其中 3 個自由度; PixyCmuCam5 是一個開源的圖像識別傳感器，支持多物體多色彩的顏色識別，支持 SPI，I2C 等多種通信方式，其搭載的圖像識別模塊可以以 1 MB /s 的速度發送塊 信息 給 ArduinoUNO 板，每秒可以發送超過6 000 個識別的物體或每幀 135 個被識別的物體。
3． 2 軟件開發
本文軟件的組成大體可以分為 3 個部分:
1) 基于 STM32 的移動機器人控制軟件。主要解決機器人的路徑規劃、超聲波壁障及 Wi Fi 和藍牙控制等; 整個系統的工作模式是上位機通過 SPI 將無線模塊 NＲF24L01 接入 AＲM 處理器，同時將搖桿 ADC 控制模塊初始化。AＲM 處理器可以對操作人員在液晶顯示屏上輸入的指令進行分析與識別，并將指令傳送給下位，同時還可以通過 USAＲT 串口與計算機通信。
2) 圖像識別模塊。通過 Pixy Cmu Cam5 攝像頭可以直接獲取網球的位置信息( 網球中心位置的 x 和 y坐標，被識別網球的寬度、高度) ，并將獲取的信息通過 ISCP 通信端口發送到 Arduino IDE 開發板。
3) Arduino IDE 開發板與 STM32F103ZET6 芯片的通信。由于本文的 2 塊開發板類型不同，故通過 ArduinoIDE 開發板的 TX，ＲX 通信端口實現 2 塊板子的通信。圖 6 為主程序流程圖。
圖 6 主程序流程圖
Figure 6 Main program flow chart
3． 3 實驗驗證與分析
本文搭建了移動機器人樣機，并在多種場合進行了測試，機器人可以精確地識別網球的位置并反饋給機械手; 在視野中如果沒有發現網球，攝像頭會自動調用子程序轉動舵機尋找各個方位網球的位置，實現了網球的高效、精準地抓取，如圖 7 ～ 8 所示。
圖 7 成功捕捉到網球
Figure 7 Tennis successfully captured
圖 8 實驗室測試
Figure 8 Laboratory tests
雖然市面上已經出現網球撿拾機器人，但國內大多數是運用傳感器進行識別，紅外線進行定位，由于識別距離有限，響應速度有一定的延遲。國外運用高精度 CCD 攝像頭進行識別的網球撿拾機器人，雖然精度高，但是價格昂貴，使用成本太高，不適合投入市場大量運用。而本文所搭建的機器人小車運用 的 PixyCmu Cam5 攝像頭，價格適中，性價比高，并且可以做到快速識別。同時本文沒有采用常規的真空吸取、依靠慣性等撿取網球的方式，而是運用了機械手，雖然增加了成本，但大大提高了撿球效率，可以高效而又精準地實現抓取動作。
4 .結語
本文設計開發的基于視覺捕捉的網球自動拾取機器人系統，解決了耗費人力資源而且人工撿球效率低的問題。在研究過程中，機器人的路徑規劃問題一直是一個難點。機器人在運行過程中有時會偏離運行軌跡，要提高機器人運動精度，需要軟件和硬件協調配合，這在后期的工作中需要進一步加強。本系統具有廣闊的應用前景，可以用在任意網球場地。經技術完善后，可以在標準化的網球場上的 4個角落放置 4 臺機器人，組成一個撿拾網球的局域網系統，通過一個中央處理器計算整合，可高效而又準確地完成撿拾網球并退回原位等一系列動作。
參考文獻:
［1］ 張穎，吳成東，原寶龍． 機器人路徑規劃方法綜述［J］． 控制工程，2003，10( 增刊 1) : 152 － 155
［2］ 趙曉東，鮑方． 清潔機器人路徑規劃算法研究綜述［J］． 機電工程，2013，30( 11) : 1440 － 1444．
［3］ 張俊強，張華． 基于圖像處理的移動機器人對目標的識別和定位［J］． 計算機測量與控制，2006，14( 5) : 673 － 675．
［4］ 彭惠青，李海燕． 機器人視覺定位的圖像處理［J］． 計算技術與自動化，2004，23( 1) : 74 － 76．
［5］ 于乃功，黃燦，林佳． 基于單目視覺的機器人目標定位測距方法研究［J］． 計算機測量與控制，2012，20( 10) : 2654 － 2656．
［6韓崢，劉華平，黃文炳，等． 基于 Kinect 的機械臂目標抓?。跩］． 智能系統學報，2013，8( 2) : 149 － 155．
［7］ 席澤生． 網球場撿球機器人系統設計［J］． 機械制造與自動化，2012，41( 2) : 140 － 141．
［8］ 唐瑩． 智能網球拾取機器人的市場分析: 以創睿智能網球機器人有限公司為例［J］． 職業，2012( 17) : 148 － 149．
［9］ 于剛，唐小川． 智能拾取網球機器人［C］/ /第二屆全國大學生創新論壇論文集． 南京: 東南大學出版社，2009．
［10］ MAO Yanbing． Design of tennis picking intelligent robot orientationsystem［J］． Machine building ＆ automation，2009，38( 2) : 54．
投稿箱：
如果您有機床行業、企業相關新聞稿件發表，或進行資訊合作，歡迎聯系本網編輯部， 郵箱：skjcsc@vip.sina.com
如果您有機床行業、企業相關新聞稿件發表，或進行資訊合作，歡迎聯系本網編輯部， 郵箱：skjcsc@vip.sina.com
更多相關信息
