2018-02-21

mBlock v5.0.0 Alpha.8 的特殊功能(AI & Deep Learning)



農曆過年前,Makeblock 推出 mBlock v5.0.0 Alpha.8版本,mBlock 5 是以 Scratch 3.0 為基礎改編而成,由於 Scrathc 3.0 正在發展,預定8月才會推出正式版本,所以 mBlock 5 也是跟著 Scratch 3.0 的腳步同時更新。

目前 mBlock 5可以控制的硬體為 程小奔 Codey Rocky、神經元、micro:bit。將來當然也會支援Makeblock的自家產品 mBot,Ranger等。

mBlock 5 除了 Scratch 的基本功能,還有機器人硬體的控制外,最重要的就是網路連線的特殊能力,包含 雲端數據儲存,IFTTT 物聯網,Microsoft 認知服務的人工智慧 AI,以及 Google 發展的圖像辨識(深度學習 Deep  Learning)。


人工智慧AI,深度學習,機器學習都是現在很夯的名詞。我們不一定需要很深入了解其中的理論或演算法。以目前科技的快速發展,漸漸會有許多工具出現,如何應用這些工具更是發揮創意想像力的最佳表現。

mBlock 5 提供這些服務,讓我們得以用最簡單方便的方法,操作這些工具。

以下介紹如何使用

微軟的認知服務

認知服務 ( Cognitive Services)只能用在舞台角色里,先點擊舞台上的貓熊角色,再點擊左邊欄位的『擴展』,選擇 AI、 深度學習,安裝擴展內容,就會出現相關指令。 

微軟認知服務包含 

1. 語音辨識(提供漢語、英語、義大利語、德語、法語、西班牙語),

2. 人臉年齡,人臉情緒,

3. 印刷文字識別(同樣提供漢語、英語、義大利語、德語、法語、西班牙語)以及

4.英語手寫字辨識。

這些服務需要登入帳戶才能使用,按下mBlock 5右上角齒輪圖示,就能註冊帳號或登入。

未登入前,指令是灰色的,無法拖拉。




登入之後,探奇邱老師簡單拖拉一些指令,就能開始使用。在圓邊的報告指令(Reporter Block)前方有小正方形,點擊打勾後,舞台就會顯示辨識結果。


邱老師測試語音辨識無效,無法正確辨識(還請大家一起討論),

人臉年齡倒是很快完成(我的臉最低32.4歲 XDD)。


印刷中文字可以正確辨識,


手寫英文更是沒問題,連續兩行字也可以找出來。




另外一個重量級的應用就是 Google 的深度學習(雛型是 Google 的 Teachable Machine


這個深度學習(DL, Deep Learning)不需要登入就能使用。同樣在角色裡面選擇DL指令,點擊『訓練模型』。

現在只有三種特徵 Patterns,邱老師訓練了紅包袋,名片及筆,只要將對應物品放到攝影鏡頭前,點擊『學習』,就能採集樣本,樣本越多越好(還不清楚樣本數量極限)。




 訓練完成,可以點擊右上角的叉叉,關閉模型訓練。

簡單拖拉程式,貓熊可以說出物品的名稱!


紅包袋及名片都能快速學習,正確判斷


人工智慧還需要時間發展,不過機器能作到這樣的辨識程度,已經非常有趣。雖然偶爾還是會出錯,不過學習正是如此。

想測試人工智慧嗎?只要下載 mBlock 5,請到 


歡迎大家一起討論!