発表のポイント

◆ フィールドロボットや自動収穫機に搭載される低コストデプスカメラ等が取得する「不完全な3Dデータ」を、完全な3D形状へ補完できるAI開発を可能にする、ジャガイモ3Dペアデータセットを構築。
◆ 北海道十勝地方・更別村の生産圃場で収穫した3品種・300個体以上のジャガイモについて、RGB-Dデータと写真測量(Structure-from-Motion)による高精度3Dモデルを一対一で対応付け。
◆ 市場出荷可能収量(marketable yield)の自動推定、新しい栽培手法や資材の効果定量化、自動収穫ロボットの精密収量マップ生成などに広く活用可能。

「3DPotatoTwin」データの概要

概要

　東京大学大学院農学生命科学研究科の王浩舟特任研究員と郭威准教授らと、株式会社クボタの研究グループは、農業ロボットや自動収穫機に搭載するカメラが捉える「部分的な3Dデータ」から、完全な3D形状を再現できるAIの学習を可能にするジャガイモ3Dペアデータセット「3DPotatoTwin」を開発しました。本データセットは、北海道十勝地方・更別村の圃場で収穫したジャガイモ339個体を対象に、収穫コンベア上でRGB-Dカメラ(Intel RealSense)による低解像度3Dスキャンと、写真測量法(Structure-from-Motion)による高精度3Dモデルをペア化したものです。この研究は、Plant Phenomics誌に掲載されるもので、Computers and Electronics in Agriculture誌に掲載された先行研究“High-throughput 3D shape completion of potato tubers on a harvester”のAI復元技術を支える基盤データとして位置づけられます。本成果により、現場で得られる3D映像から形状・重量・体積を自動算出する次世代農業ロボットの開発が加速することが期待されます。

図1:公開されたデータの構成

発表内容

　近年、農業の自動化に向けて、収穫ロボットやフィールドロボットへのカメラ搭載が進み、作物の三次元情報をリアルタイムに取得できる環境が整いつつあります。特にIntel RealSenseなどのような低コストデプス(RGB-D)カメラは、軽量で高速な点群取得が可能なため、実用機への搭載が進んでいます。しかし、深度センサが得る情報は被写体の上面のみであり、塊茎などの裏面情報が欠落するため、部分的な3Dデータしか得られないという課題がありました。
　当研究グループでは、この問題を解決するため、RGB-Dカメラによる低解像度3Dデータと、写真測量法の一つであるStructure-from-Motion(SfM)による高精度3Dモデルを一対一で対応付けたデータセット「3DPotatoTwin」を構築しました。本データセットは、実際の生産現場である、北海道十勝地方・更別村の生産者圃場で収穫した3品種(さやか・きたひめ・コロール)計339個体のジャガイモを対象に、現場でのRGB-D撮影と室内での高精度撮影を組み合わせ、両者をピンマーカーを用いてミリ単位でアライメントさせています。その結果、平均誤差0.59 mmという高精度な位置対応を実現しました。
　このペアデータを利用することで、不完全な3Dスキャンから完全形状を復元するAIモデルの学習が可能になります。当研究室では、すでに本データを応用したAI復元モデルを開発し、“High-throughput 3D shape completion of potato tubers on a harvester”として報告しています。この技術により、現場で得られる低解像度データから体積や重量を高精度に推定できるようになり、収穫ロボットによる精密収量マップ生成や、市場出荷可能収量(marketable yield)の自動判定を実現できます。
　また、本技術は、新たな栽培資材や手法、例えばバイオスティミュラントなどが収穫時のイモ塊根形態に及ぼす影響を、三次元的に定量化する研究基盤としての活用も期待されます。
　なお、本研究で公開されたデータセットとソースコードは、Hugging Face(https://huggingface.co/datasets/UTokyo-FieldPhenomics-Lab/3DPotatoTwin)とGitHub(https://github.com/UTokyo-FieldPhenomics-Lab/PotatoScan)で一般公開されています。

図2:一対一で対応付けアルゴリズムとソフトウェア

〇関連情報:
「High-throughput 3D shape completion of potato tubers on a harvester」(2025/01)
https://doi.org/10.1016/j.compag.2024.109673

発表者・研究者等情報

東京大学
　大学院農学生命科学研究科
　　王　浩舟(Haozhou Wang)　 特任研究員
　　Pieter M. Blok　研究当時:特任助教(現:Eindhoven University of Technology, Netherlands)
　　James Burridge　特任助教
　　Ting Jiang 博士課程
　　郭　威(Wei Guo)　准教授

株式会社クボタ
　研究開発本部次世代研究第一部
　　宮内　海南斗 (Minato Miyauchi)
　　宮本　恭輔 (Kyosuke Miyamoto)
　　田中　邦理 (Kunihiro Tanaka)

論文情報

雑誌名: Plant Phenomics
題　名:3DPotatoTwin: a Paired Potato Tuber Dataset for 3D Multi-Sensory Fusion
著者名: Haozhou Wang, Pieter M. Blok, James Burridge, Ting Jiang, Minato Miyauchi, Kyosuke Miyamoto, Kunihiro Tanaka, Wei Guo*
DOI: https://doi.org/10.1016/j.plaphe.2025.100123
URL: https://www.sciencedirect.com/science/article/pii/S2643651525001293

研究助成

本研究は、株式会社クボタとの共同プロジェクト「クボタ東大ラボ」および北海道更別村「フィールドフェノミクス寄附講座」の支援により実施されました。

問合せ先

(研究内容については発表者にお問合せください)
東京大学大学院農学生命科学研究科附属生態調和農学機構
准教授　郭　威(かく　い)
E-mail:guowei[at]g.ecc.u-tokyo.ac.jp

東京大学大学院農学生命科学研究科・農学部
事務部 総務課総務チーム広報情報担当
Tel:03-5841-8179, 5484　E-mail:koho.a[at]gs.mail.u-tokyo.ac.jp
※[at]は@に変えて入力ください。

関連教員

郭　威