発表のポイント

  • ほ場画像からダイズ個体に実った子実の位置と数量を、自動かつ高精度に計測できる深層学習モデルMSANetを新たに開発しました。
  • MSANetによってダイズ個体内の子実分布という新しい指標/形質を提案しました。
  • この新しい指標/形質は収量の推定を大幅に改善するだけなく、コンバイン収穫に適した品種の育種選抜などにも利用できると期待されます。

研究成果のイメージ

概要

　東京大学大学院農学生命科学研究科の郭威准教授、Tang Li大学院生、Pieter Blok特任助教、Burridge James David特任助教、農業・食品産業技術総合研究機構(農研機構)作物研究部門の加賀秋人主席研究員による研究グループは、育種ほ場の静止画像や動画からダイズ子実を自動で検出/計測する新たな深層学習モデル「マルチスケールアテンションネットワーク(MSANet)」を開発しました。
　世界人口の増加に伴い、タンパク質の需要が倍増し、植物性タンパク質の主要供給源であるダイズの収量向上が求められています。しかし、収量調査には多大な手間と時間がかかるため、大規模な調査が難しく、育種のボトルネックになっています。
　MSANetは、マルチスケールアテンションマップ(注1)のメカニズムを適用して、育種ほ場で撮影されたダイズ個体に実った子実の位置と数量を計測するモデルの性能を最大化しました。このモデルを使い、様々な種類のダイズが含まれるベンチマークデータセット(注2)の子実数と位置を計測したところ、同グループが提案したP2PNet-Soy(関連情報参照)の性能を大きく上回りました。これにより、ダイズ子実の数量だけでなく、今まで計測が非常に困難であったダイズ個体内の子実の空間分布に関する情報が容易に得られるようになりました。MSANetは育種選抜の加速、新しい収量予測技術などにつながる強力なツールになると期待されます。

発表内容

〈研究の背景〉

　手作業による数え上げなどの従来の方法で植物体上の子実の分布を調査するには限界があります。近年の深層学習は表現型分析の自動化に大きな可能性を広げ、人為ミスを排除し、処理能力、精度および安定性の向上が期待できます。初期の研究で使用された深層学習は物体の計数と位置決めに問題があり、例えば、画像内の目的の物体の特徴点やそれが含まれる領域を教え込むための労力とコスト、特徴点が密集している場合に特徴点を含む領域が重なり合うことを抑制する必要があることなどが課題でした。そこで、本研究は深層学習の新しい階層構造を導入することで、画像の中の子実の配置と数量の計測精度を向上させ、既存の方法の限界を克服することを目的としました。

〈研究の内容〉

　本研究では、ダイズ子実の位置を特定し、精密に数えることを目的とした新たな深層学習モデル「マルチスケールアテンションネットワーク(MSANet)」を開発しました。MSANetは、画像全体の情報をより効率的に活用するため、従来のキーポイント検出(注3)における座標回帰問題を、画像全体を対象としたセマンティックセグメンテーション問題(注4)に変換しました。さらに、正確に前景のダイズ子実を識別し、背景に紛れ込んだ子実を除外するためには、前景と背景の大豆個体を区別することが必要で、マルチスケールアテンションマップのメカニズムを採用し、前景の個体に集中し、背景の個体を無視する能力を持たせるようにしました。この手法により、子実の位置をより正確に識別し、誤検出を減少させることが可能となりました。
MSANetは、子実の分布を表すヒートマップを生成し、それを利用してマルチスケールアテンションに基づいて背景からの子実をより正確に識別できます。

図1:MSANetの全体アーキテクチャ
モデルの特徴抽出にはConvNeXtというアルゴリズムを採用しました。粗い解像度になるまで4段階のダウンサンプリングを行い、特徴マップを取得します。各段階で予測出力を生成し、スキップ接続(中央、紫矢印)を介して元の解像度にアップサンプリングして再統合します。中間段階の予測を連結することで特徴マップを強化し、最終出力を容易に合成させることができます。

ヒートマップ生成による座標回帰からセグメンテーションへの変換
MSANetは、ヒートマップ生成方法を用いて、従来のキーポイント検出における座標回帰問題から、画像のセマンティックセグメンテーション問題に変換しています。このヒートマップは、キーポイントの位置を反映したもので、滑らかに処理されたものが使用されます。これにより、画像全体の情報をより効果的に活用し、認識の安定性と精度が向上しました。

マルチスケールアテンションによる背景ノイズの軽減
MSANetは、まず生成されたヒートマップをダウンサンプリングすることで、異なるスケールに対応した複数のヒートマップを生成します。そして、これらのヒートマップは各段階の検証済み情報として使われ、マルチスケールのヒートマップを予測し、アテンションマップのように機能します。なぜなら、低解像度では画像がぼやけて詳細は分からなくても、前景と背景が区別できるレベルであり、その時のヒートマップはちょうどアテンションマップのようなものになるからです。このように異なるスケールで予測を行うことで、MSANetは前景部分を効果的に学習します。このアプローチにより、モデルが画像中の前景にあるダイズに集中し、背景にあるダイズや画像の端にあるダイズを無視しやすくして、子実を数えすぎてしまう問題を大幅に軽減しました。結果として、モデルの精度と頑健性が向上し、農業分野での実用性が高まりました。

他の方法との比較、異なるデータセットでの識別能力
MSANetは当グループが提案した先行モデルのP2PNet-Soyよりも、子実の配置と数量を高精度に計測できました。また、訓練データセットとは異なるデータセットでも一定の識別能力を示しました。

子実分布解析による新たな育種選抜の可能性
ダイズの子実分布を新しい指標/形質として活用するために、MSANetとカーネル密度推定 (KDE)を用いて、ダイズ画像から子実分布を予測しました。KDEは、子実の垂直方向の位置情報を連続的な分布として滑らかに表現するために、子実の実数ではなく、密度として表現しました。この新しい指標/形質をダイズ育種選抜へ応用する可能性を検討しました。
図2は5系統の子実垂直分布が大きく違うことを示しています。一方、モデルが予測したKDE曲線は実測値とよく一致しており、これはモデルの精度を裏付けるだけでなく、それぞれのダイズに特有な子実分布パターンを形質評価に使える有効性も確認できました。

図2:複数品種のダイズ系統の子実垂直分布パターンの違い
Y軸はダイズ1株の高さ(ピクセル単位)、X軸は各高さにおける子実数と密度分布を示します。緑は実測値、赤はMSANetによる予測値を示しています。一例として(b)と(c)は異なる系統の子実垂直分布を可視化したものですが、(b)の子実は(c)よりも上部に多く分布し、(b)は(c)よりもコンバイン収穫による下部分の刈り残しが少ないと予想できます。

　図3aはさらに多くの材料を比較した例です。図3bのように主茎の長さを標準化することで、生育量の異なるダイズ系統間の子実垂直分布も容易に比較できるようになりました。育種目標に応じて特徴のある系統の選抜が可能となります。

図3:25品種のダイズで見られた子実垂直分布の系統間差異
(a)のY軸はダイズ1株の高さ(ピクセル単位)、X軸は各高さにおける子実密度を示し、大きな系統間差異が見られました。(b)は全系統の茎頂までの高さを1000ピクセルに標準化した場合の子実垂直分布の系統間差異を示します。図2の(b)と(c)はそれぞれグレーと赤の太線で表示されています。

〈今後の展望〉

　今後は予測精度を向上させるために、子実が含まれない莢の検出や節あたりの種子数の計測アルゴリズムの開発に焦点を当てる予定です。これにより、これまで評価が難しかった節あたりの種子数の計測が可能になり、多収性に関する特徴を捉えるための大きな一歩となります。また、カメラ撮影によるデータ収集コストも考慮すると、一度に2畝分を撮影できる360度カメラの導入や、そのような動画にも使えるモデルの汎用性向上にも焦点をあてる予定です。将来的には、マルチスペクトルやハイパースペクトルなどの分光イメージングを用いた植物の健康状態や植物生理特性に関する様々な情報と統合し、複雑な農業環境でもモデルの性能を高く維持するための機能強化、また、ダイズだけでなく他の作物への適用性を広げることも視野に入れています。
〇関連情報:
「圃場におけるダイズ子実数の計数AIを開発 ――収量予測技術や品種選抜の加速へ期待――」(2023/03/28)
https://www.a.u-tokyo.ac.jp/topics/topics_20230327-1.html

発表者

東京大学大学院農学生命科学研究科
　郭 威　准教授
　Tang LI　博士課程
　Pieter BLOK　特任助教
　James David BURRIDGE 　特任助教

農業・食品産業技術総合研究機構　作物研究部門
　加賀　秋人　主席研究員

論文情報

雑誌
Plant Phenomics
題名
Multi-Scale Attention Network for Vertical Seed Distribution in Soybean Breeding Fields
著者
Tang Li, Pieter M. Blok, James Burridge, Akito Kaga, Wei Guo*(*責任著者)
DOI
10.34133/plantphenomics.0260
URL
https://spj.science.org/doi/abs/10.34133/plantphenomics.0260

用語解説

  • 　注1　マルチスケールアテンションマップ
    　異なるスケールで生成されたヒートマップをアテンションマップ(モデルが注目している箇所の可視化　として使用し、各スケールでの前景と背景の区別を効果的に学習させる方法です。
  • 　注2　ベンチマークデータセット
    　本論文では、4つのデータセットを使用しました。2021Datasetを訓練に使用し、残りの3つのデータセット(2021 Enlarged Dataset、2022 Dataset、360-degree video　を検証およびテストに使用しました。
  • 　注3　キーポイント検出
    　画像に写っている対象物の特徴点を検出することを「キーポイント検出」といいます。本論文では、画像にある大豆個体の子実を検出することです。
  • 　注4　セマンティックセグメンテーション問題
    　領域分類、画像のピクセル一つひとつに対してラベル付ける問題です。本論文では、画像にある大豆個体の子実を検出することです。

研究助成

本研究は、JST AIP加速課題「ビッグデータ駆動型AI農業創出のためのCPS基盤の研究(課題番号:JPMJCR21U3)」、「みどりの品種開発を加速化する育種情報基盤の構築と育種支援ツールの開発(課題番号:JPJ012037)」の支援により実施されました。

問い合わせ先

(研究内容については発表者にお問合せください)
東京大学大学院農学生命科学研究科附属生態調和農学機構
准教授　郭 威(かく　い)
E-mail:guowei[at]g.ecc.u-tokyo.ac.jp

東京大学大学院農学生命科学研究科・農学部
事務部 総務課総務チーム 総務・広報情報担当(広報情報担当)
Tel:03-5841-8179, 5484　E-mail:koho.a[at]gs.mail.u-tokyo.ac.jp

※上記の[at]は@に置き換えてください。

関連教員

郭 威