視覺語音智能車的機器視覺和機器人底盤以運動控制為核心,采用四輪驅動底盤,搭配***精度編碼器,可實現精確的運動控制。通過在深度學習計算終端Jetson Nano中部署人工智能軟件環境,賦予機器人對環境的感知能力和協同工作能力,進而實現基于人工智能技術的機器視覺+機器人運動控制教學應用場景。平臺采用基于深度學習的圖像處理技術、機器視覺技術和機器人運動控制技術,可為人工智能、機器人工程、自動化等***提供一體化軟硬件系統和教學解決方案。
產品具備如下功能:
1.滿足Python編程、機器學習、深度學習、數字圖像處理、計算機視覺、機器人運動控制等課程或知識點的教學;
2.配置Jetson Nano深度學習計算模塊,部署人工智能軟件環境,集成自主研發的機器人運動控制器和機器視覺算法,用戶無需另外購置電腦,真正開箱即用;
3.平臺支持STM32+RT-Thread+ROS開源系統,搭配激光雷達、IMU以及語音交互模塊,可實現機器人控制算法、SLAM建圖與導航等課程實踐和競賽訓練,所有軟件算法全部開源,支持二次開發。
產品功能和特點
1. 算力強勁的人工智能主機
產品主機采用性價比極***的英偉達計算主機Jetson Nano,配置***性能的四核64位ARM CPU,可用于各種機器人控制算法的實現,同時搭載128核的NVIDIA GPU,可提供472 GFLOPS的計算性能,還包括4GB LPDDR4存儲器,采用***效,低功耗封裝,具有5W / 10W功率模式和5V DC低電壓輸入能力。具有圖形加速能力,內置NVIDIA CUDA Toolkit和TensorRT等庫。SDK包括主流的開源機器學習(ML)框架,如TensorFlow,PyTorch,Caffe,Keras和MXNet,以及計算機視覺和機器人開發的框架,如OpenCV和ROS;
2. 自主研發的***性能運動控制器
底盤控制器采用STM32F407***性能ARM處理器,主頻***、資源豐富。可實現板載陀螺儀數據采集與解算、4路直流減速電機編碼器數據采集與車速PID/MFAC閉環控制、四輪差速底盤運動解析及控制接口、與車載計算模塊的數據通信;控制器進行深度定制,不僅支持c/c++開發,同時可支持python語言開發;
3. 靈活易用的開源實時操作系統
底盤控制器搭載***產***的嵌入式實時操作系統RT-Thread,實現所有內核功能模塊調用、Finsh shell命令行交互模塊。可擴展文件系統管理、網絡系統管理、支持Python編程的MicroPython系統框架、基于四輪差速底盤智能車的控制系統框架;提供RT-Thread操作系統的完整例程和教學課程;
4. 豐富的人工智能和機器視覺案例
支持Web頁面瀏覽攝像頭;基于openCV的人臉識別、車道線識別、巡線;Yolo交通標識識別、手勢識別、物體識別;Unet語義分割實現車道線檢測;語音交互與聲源定位;3D視覺建圖與導航;多機器人編隊;深度視覺跟隨;
5. 完善的ROS機器人系統功能
車載計算主機搭載Ubuntu18.04版本Linux操作系統,配置ROS及相關開發工具,實現ROS核心通信機制及組件、對底盤狀態監測及運動控制、ROS分布式遠程開發、攝像頭數據采集與處理、SLAM建圖與導航、聲源定位、語音識別、Gazebo仿真環境,提供完整代碼。