チップで学習して、画像認識をさせるものだな。
AIカメラを組みあわせて、道路認識して走行するもの
を作ってみるか。
タミヤのロボット工作キット「ロボット（CRAWLER）」とは？
模型でおなじみのタミヤが販売している、STEM教育素材でもあるロボット工作キットです。
キットの中には、ロボットを構成する次の３つの要素を構成するパーツが同梱されていますので、購入してすぐ、ロボットの動きを楽しめます。
- プログラミング可能なマイコン（BBS microbit）
- 距離センサー、モータードライバが実装された回路基板
- ロボットのフレームやモーターなどの機械部品
詳しくは次の記事で紹介していますので、確認してみてください！
突然ですが、もし、数時間でロボットを作れるとしたら、作ってみたくないですか？ えっ？そんなの不可能？ いえいえ、プラモデルを作ったことがあるならできちゃいますよ！！ しかも、パソコンとつないでグラフィカルにプログラミングで[…]
TAMIYA ROBOT (CRAWLER TYPE)
クローラータイプなので、戦車のようなベルトを持ち、段差もものともしない走破性を持っています。動きも速さよりも力（トルク）重視なので、見ていて楽しいです。
今回の改造ポイント
①AIカメラ「HUSKYLENS」の取付
②マイコン（BBS microbit）のプログラミング
ロボット工作キットには、ロボットを動作させるためのプログラムが書き込まれているマイコン（BBS microbit）が含まれています。
標準では、距離センサーからのフィードバックを元にモーターを制御するプログラムが書き込まれています。
今回は、AIカメラからのフィードバックを元にモーター制御したいので、プログラムを書き換える必要があります。
「BBS microbit」は、MakeCodeに代表されるノーコード開発環境がありますが、今回はモーターへのフィードバック制御などに、AIカメラのArduino IDE用ライブラリを使用したいので、Arduino IDEを使います。
AIカメラ「HUSKYLENS」とは？
DFRobotから販売されているAI搭載カメラです。
カメラが搭載されている基板内にAIによる学習ができるチップが搭載されています。
AIカメラ「HUSKYLENS」
I2CやUARTで認識結果をAPIとしてフィードバック取得できるので、Arduino IDE以外でも利用することができます。
電源は、320mA@3.3V, 230mA@5.0V必要です。バッテリーなどからの直接供給が必要です。
カメラ画像から、以下の内容について学習させることができ、学習結果を使って認識した情報を、UARTまたはI2Cプロトコルを使って、フィードバックできます。
- 顔検出
学習させた顔にタグ付けすることで、カメラに映った楽手済みの顔を検出する - オブジェクト追跡
学習させたオブジェクトを追跡する - オブジェクト認識
20 個の組み込みオブジェクトを認識する - Line Tracking
指定された色の線を追跡し、経路予測を行う - 色認識
指定された色を学習、認識、および追跡する - タグ認識
タグを検出し、指定されたタグを学習、認識、追跡する - オブジェクトの分類
さまざまなオブジェクトの複数の写真を学習し、学習したオブジェクトを ID 番号で表示する
また、カメラの画像における座標系は、次のようになっていて、フィードバック値から、カメラ画像のどの位置にオブジェクトなどがあるか（または向いているか）を読み取れます。
今回は、「Line Tracking」機能を使って、道路の中央にある線の経路予測を行います。
認識結果のフィードバックは、I2Cプロトコルを使います。
「HUSKYLENS」のLine Trackingにおけるフィードバック
「HUSKYLENS」の「Line Tracking」機能では、認識した線の経路予測値をフィードバックします。
フィードバックデータは次の形式になります。
| 項目名 | フィードバック値 | 説明 |
| xOrigin | int16_t | 矢印（経路予測線）の始点のX座標 |
| yOrigin | int16_t | 矢印（経路予測線）の始点のY座標 |
| xTarget | int16_t | 矢印（経路予測線）の終点のX座標 |
| yTarget | int16_t | 矢印（経路予測線）の終点のX座標 |
今回は、ロボットの進む方向を、経路予測した方向へ向けたいので、フィードバックデータのうち、「xTarget」（経路予測結果の矢印の終端）の値がカメラ座標系の中心(x)=(160)からどのくらい離れているかで判断します。
計算方法は単純で、 xTarget – 160で計算します。（経路予測が左を向いていると負の数、右を向いていると正の数）となります。
モーター制御による方向補正
「HUSKYLENS」の「Line Tracking」から得たフィードバック値を使って、ロボットの方向を補正することを考えます。
今回使うタミヤのロボット工作キットは、左と右で独立したモーターによって動きます。
モーターの速度は、PWMを使って変化させることができるようになっています。
PWM制御については次の記事でご紹介しています。
この記事では、M5StickCと冷却ファンを使って回転速度制御をしていきます。 M5StickCから冷却ファンの回転を制御できれば、扇風機のように、自由に風量を変えることができます！ 今回の冷却ファンは次のものを使います。パソコン用[…]
2つのモーターを以下のように制御することで方向を変えながら動かすことができます。
- 前進…左右同じ速度でモーターを回転
- 後退…左右同じ速度でモーターを逆回転
- 左折…右のモーターを左より早く回転
- 右折…左のモーターを右より早く回転
フィードバック値が、中心よりも左右にずれているとき、左右のモーターの速度を変えて、フィードバック値が中心に来るように補正します。
補正には、PID（Ｐ（比例），Ｉ（積分），Ｄ（微分））制御というフィードバック制御を使います。
PID制御については、以下のサイトが詳しく記載されているので参考にしてください。
各種プロセス制御で使われているPID制御について理解して頂くために、やさしく解説しているページです。初心者にもわかりやす…
今回は、比例制御のみ有効にしてプログラミングします。
AIカメラへの電力供給
AIカメラへの電力供給は、ロボット工作キットの回路基板とは別の電源を用意しました。
今回は、18650型の電池（リチウムイオン電池 3400ｍAh 3.7V）2本を使用しています。
電圧をAIカメラの電圧（５V）に合わせるために、DC/DCコンバーターを使っています。
今回使用したのは、出力電圧を変更できるもので、秋月電子さんの商品です。
ロボット工作キットへのAIカメラ搭載
AIカメラ「HUSKYLENS」に付属のアームのサイズが、ロボット工作キットの部品にジャストフィットしていたので、そちらにネジで搭載しました。
回路の接続については、次のようにしています。
Arduino IDE で microbitに書き込む準備をする
- Arduino IDEのインストール
- パソコンからmicrobitをCOMポートで認識させる
- Aruduino IDEにmicrobitのボードを登録する
Arduino IDEのインストール
Arduino IDEをインストールします。
Arduino IDEのインストール方法は、次の記事で紹介しています。
本記事は、Arduino IDE 1.8.xバージョンのインストール方法を紹介した記事です。 Arduino IDEは、より新しいバージョン「2.0.x」が発表されています。 機能がよりリッチになった「Ardui[…]
パソコンからmicrobitをCOMポートで認識させる
microbitには、パソコンからの書き込み用としてmicroUSB端子が実装されています。
Windows７環境では、ドライバを入れる必要がありそうですが、Windows11では何もせずに認識しました。
microbitをパソコンに接続すると、エクスプローラーからドライブとして認識されます。
MakeCodeなどで作成したプログラム（.hex)は、このドライブにコピーすることで書き込むことができます。
Arduino IDEからプログラムを書き込むためには、SoftDeviceという機能をmicrobitで有効にする必要があります。以下のプログラム例を使ってSoftDeviceを有効にします。
MICROBIT drive to install a MakeCode bluetooth advertising example
上記のプログラム(.hex)をダウンロードして、エクスプローラーからmicrobitに書き込みます。
Aruduino IDE にmicrobitのボードを登録する
次に、Aruduino IDEのボードマネージャを使って、microbitを登録します。
登録に使用する情報
| 使用する情報 | 設定値 |
| 追加ボードマネージャのURL | https://sandeepmistry.github.io/arduino-nRF5/package_nRF5_boards_index.json |
| ボード名 | Nordic Semiconductor nRF5 Boards |
ボードマネージャのインストールは、次の記事で紹介しています。
本記事は、Arduino IDE 1.8.xバージョンのボードマネージャのインストール方法を紹介した記事です。 Arduino IDEは、より新しいバージョン「2.0.x」が発表されています。 機能がよりリッチに[…]
AIカメラを使った道路認識走行ロボットのプログラミング
それでは、実際にプログラミングしてみましょう。
HUSKYLENSのArduino IDE向けライブラリのインストール
以下のリンクから、HUSKYLENSのライブラリをダウンロードします。
ダウンロード後に、ファイルを解凍し、「HUSKYLENS」フォルダをArduino IDEのライブラリフォルダにコピーします。
Arduino IDEのライブラリフォルダは、標準では、以下の場所になっています。
C:\Users\”ユーザ名”\Documents\Arduino\libraries
適宜読み替えてください。
プログラムの作成
Arduino IDEを起動して、「ファイル」メニューから「新規ファイル」をクリックして新規にプログラムを立ち上げます。Arduino IDEスケッチ例をコピー＆ペーストして保存します。
※PID制御関数の準備
- Arduino IDEで、「ファイル」メニューから「スケッチ例」ー「HUSKYLENSArduino」－「HUSKYLENS_LINE_TRACKING」を選択し、スケッチを表示します。（別のウィンドウで開きます）
- 「HUSKYLENS_LINE_TRACKING」スケッチのウィンドウから、「スケッチ」メニューで「スケッチのフォルダを表示」を押してエクスプローラでフォルダを開きます。
- 「PIDLoop.h」のファイルをコピーます。
- 新規作成したスケッチのウィンドウを選択して「スケッチメニュー」から「スケッチのフォルダを表示」を押してエクスプローラでフォルダを開きます。
- 先ほどコピーした「PIDLoop.h」のファイルをフォルダに保存します。
- 新規作成したスケッチを一度閉じて、再度Arduino IDEで開くと「PIDLoop.h」が追加されます。
- 「PIDLoop.h」の「ZUMO_BASE_DEADBAND」を「０」に変更します。
Arduino IDE スケッチ例
micro:bitへの書き込み
- 「ファイル」メニューから「名前を付けて保存」で任意の名前を付けて保存します。
- 「ツール」メニューから「ボード」情報を確認し、microbitであるか確認します。
この際、次を確認します。
・「シリアルポート」にマイコンを接続したCOMポートが指定されているか
・「SoftDevice」に「S110」が指定されているか - 「ツール」メニューから「シリアルモニタ」を選択してシリアルモニタを起動します。
- 「スケッチ」メニューから「マイコンボードに書き込む」を選択します。
プログラム実行結果
最初は、「HUSKYLENS」の「Line Tracking」には学習データがないため、動きません。
走行テストする道路を「HUSKYLENS」のカメラで映して、「学習ボタン」を押します。
学習が完了すると経路予測の矢印が青色になって表示され、動き出します。
製作、動作時の様子を動画にしました！ぜひご覧ください！
編集後記
いかがだったでしょうか。
タミヤのロボット工作キット「ロボット（CRAWLER）」と、AIカメラ「HUSKYLENS」を使って、道路のラインを認識して走行するロボットが完成しました。
「HUSKYLENS」には、ほかにもAI機能があるので、ロボットと組み合わせるといろいろできそうです！
記事は以上になります。
最後までご覧いただきありがとうございました。
今回使用した商品をご紹介します。ぜひご確認ください！
AIカメラ「HUSKYLENS」
I2CやUARTで認識結果をAPIとしてフィードバック取得できるので、Arduino IDE以外でも利用することができます。
TAMIYA ROBOT (CRAWLER TYPE)
クローラータイプなので、戦車のようなベルトを持ち、段差もものともしない走破性を持っています。動きも速さよりも力（トルク）重視なので、見ていて楽しいです。
タミヤ ロボットを使用した他の記事はこちら！
すけろく んー。どうにかならんか。。 げんろく どうした？ それは、ＡＩカメラを使った記事で紹介したロボットじゃないか！ すけろく ライン追従とかタグ認識などは、この前やった。 今度は、動く物体を認識して追従するようにしたいのだ。 げんろく そうか、オブジェクト追跡をやりたいのだな。 簡単なものであれば、この前使ったＡＩカメラで実現できるぞ！ この記事では、タミヤのロボット工作キット「ロボット（C […]
すけろく 前回、タミヤのロボット（CRAWLER）と AIカメラを使ったが、他にも何かできないかな。 げんろく AIカメラは、2次元バーコード（タグ）の 認識もできる。 その機能をロボットと組み合わせるか。 すけろく なかなか、よいな！ タグでロボットの動きをコントロールしたい！ げんろく では、AIカメラでタグを認識して、 ロボットの向きを変えるプログラムを 組むとしよう！ この記事では、タミヤ […]
すけろく 最近、AIカメラというものがあるそうな。 げんろく カメラ画像を、カメラに実装された チップで学習して、画像認識をさせるものだな。 すけろく 実際に何か作ってみたい。 げんろく そうだな。以前使ったタミヤ製のロボットと AIカメラを組みあわせて、道路認識して走行するもの を作ってみるか。 この記事では、タミヤのロボット工作キット「ロボット（CRAWLER）」と、AIカメラ「HUSKYLE […]