ソフトウェア受託開発ブログ「重機・建機の遠隔操縦システムで図研エルミックにできること」

(2024年 12月23日 一部内容を修正しました。)

今年の10月、運輸デジタルビジネス協議会が主催した「e建機®チャレンジ2024」が開かれました。このイベントでは、千葉県に設置された実際の重機(油圧ショベルとキャリアダンプ)を六本木の会場から操作し、スピード、効率、正確性が競い合われました。参加者には建設業界の方々だけでなく、eスポーツのプロゲーマーや重機愛好者の女性チームも含まれており、その多様性に興味を引かれました。建設機械の遠隔操縦技術は実証実験を経て市場に登場しており、筆者も最初に人手不足の解消への寄与が思い浮かびましたが、e建機®チャレンジが示した潜在的就労者の多様化の可能性は予想以上です。

このニュースに刺激を受け、当社の低遅延ストリーミング技術や産業用ネットワーク技術が、建機の遠隔操縦にどのように貢献できるかを、まとめてみました。

重機の遠隔操縦システムにおけるデータの流れ

下図は、重機の遠隔操縦システムで使われている、もしくは使われる可能性があるネットワーク関連技術の中で、当社がノウハウや技術資産を持っている技術を青色で示したものです。

映像および音声のストリーミング

まずは、当社の基幹技術である映像と音声のストリーミングについてです。重機に取り付けられた車載カメラや、作業現場に設置された俯瞰カメラ、ドローンに搭載されたカメラから得られ大量のデータを圧縮し、サーバーにRTPもしくはWebRTCを使って低遅延で送信します。当社は、RTP、RTSPSRTPの技術資産(ミドルウェアライブラリ)を保有しています。またH.264やH.265、MPEG-TSなどのCODEC技術に対する知識も有しているので、これらを活用して多くのプロトコル実装やストリーミング関連部の受託開発実績を、遠隔操縦システム関連の実績を含めて有しています。WebRTCに関しても、Amazon KVSへの映像伝送を含む受託開発の実績が増えつつあります。WebRTCは映像だけでなく、音声の双方向通信を可能にするので、遠くはなれた場所にいるオペレーションと現場作業員とのコミュニケーションにも利用できます。さらに、WebRTCはセンサー情報も扱えるので、映像情報とセンサー情報を統合して活用する上で大変便利でしょう。

サーバーでの情報の集約と分析

サーバーでは、ネットワークを通じて取得したセンサー情報やカメラ映像、重機の稼働状況、操作指令など、さまざまな情報を集約し、統合します。映像関連では、カメラ映像から人物や任意の物体を検出したり映像の補正行ったりする一般的な画像処理に加え、3Dマッピングのような位置情報の算出が行われます。筆者が興味を持ったのは、重機が自身の位置を把握しながら同時に地図を作成するというSLAM技術です。その中でも一番気になるのは、センサーやレーザースキャナではなく、カメラで撮影した映像からカメラの移動軌跡と3D空間の位置情報とを得るvisual SLAM技術です。当社はまだVisual SLAMには直接関与していませんが、カメラメーカー様とのお取引も多い当社であれば、カメラシステムや,NVS、NVRへのVisual SLAMアプリの組込みをいずれサポートできるようになればと考えています。

自律施工技術基盤OPERA

重機や建機の遠隔操縦システムに関しては、国土交通省が所管する国立研究開発法人土木研究所が「自律施工技術基盤OPERA(Open Platform for Earthwork with Robotics and Autonomy)」という研究開発用プラットフォームを開発、整備しています。OPERAは、建設機械、実験フィールド、無線通信システム、シミュレータおよびミドルウェアで構成されており、GitHubで、シミュレータとミドルウェアが公開されているので、新技術開発用途に誰でも利用できます。

出典:国土交通省「i-Construction 2.0 ~建設現場のオートメーション化~ 令和6年4月」
https://www.mlit.go.jp/tec/constplan/content/001738240.pdf
(2024年12月12日取得)

自社製品や開発中のシステムをOPERAに統合したい場合、プロトコル変換ゲートウェイが必要になることがありますが、当社がそのゲートウェイの開発をお手伝いできるかもしれません。これまでに、異なる通信プロトコル間のデータ変換に関して多くの実績があります。

以上、今回は現在当社にできることにとどまらず、筆者の興味がおもむくままにお話を広げてしまいましたが、お手伝いできることがありましたら是非ご連絡ください。