コロナに挑む、スパコン「富岳」の6次元接続技術はいかにして生まれたのか(前編)

【未来を創るチカラ Vol.15】プラットフォーム開発本部システム開発統括部 PRI. アーキテクト 安島 雄一郎

メインビジュアル : コロナに挑む、スパコン「富岳」の6次元接続技術はいかにして生まれたのか(前編)

いま世界各国は、新型コロナウイルス感染症対策のために各分野で人智を結集し、最善の道を模索しています。日本では理化学研究所と富士通が共同で開発したスーパーコンピュータ「富岳(ふがく)」の一部前倒し運用が始まり、その社会貢献に大きな期待がかかっています。「富岳」を支える技術の中でも最も代表的なものは、先代の「京(けい)」から継承し、進化した6次元接続技術です。この日本独自の技術はどのように生まれ、世界最高峰のスーパーコンピュータを実現させたのか。「京」「富岳」のアーキテクトとして開発を牽引し、令和2年春の紫綬褒章を受章した富士通の安島雄一郎に聞きます。

目次


広く社会に貢献できる、日本のスパコンをつくるために

安島 スーパーコンピュータによるシミュレーションは、最先端科学技術の研究開発には欠かせないものだと思います。新型コロナウイルス感染症対策では、いま世界中の多くのスーパーコンピュータが研究者に開放され、活用されています。「富岳」は2021年の運用開始を計画していましたが、新型コロナウイルス感染症対策のために、部分運用を前倒しすることになりました。(具体的には後編に)

「京」は、特定の研究所や大学の所有ではなく、共用の研究施設として、審査に通れば国民の誰でも使うことができました。成果を公開すれば使用料も基本的に無料でした。この方針は2021年から本格運用を予定している「富岳」でも同様になる予定です。このようなスーパーコンピュータは世界にも類がなく、「京」「富岳」は特別な存在です。大きな問題を解けることと、特定の人だけに限らず色々な人が使えることを両立したスーパーコンピュータ。この両立を可能にするために開発したインターコネクト(システム内ネットワーク)技術が、6次元接続技術です。

未知の超高性能マシンを目指して、挑戦は始まった

安島 「京」の開発が始まったのは2004年末です。まだ「京」という名前はなく、富士通研究所に「ペタスケールコンピューティング(注1)推進室」が設置されました。このころは、日米ともにペタスケールコンピューティングの2010年頃の実現を目指していて、2004年11月には日本のスーパーコンピュータ「地球シミュレータ」が、IBMのBlue Gene/Lに世界一の座(スパコンランキングTop500)を明け渡していました。IBMのBlue Gene/Lも、同じアメリカのCray社の Red Stormも、3次元接続技術(上、下、左、右、手前、奥の6方向に隣り合ったプロセッサ同士を接続したもの)で1万個以上のプロセッサを接続していました。

(注1)主に1秒間に10ペタフロップス(1京)以上の演算処理性能をもつスーパーコンピュータ技術のこと

ただこれらの3次元接続のスーパーコンピュータには、弱点がありました。IBMはプロセッサを区画に分けて区画間を専用スイッチで繋ぐ方式で、一部のプロセッサが故障した時、故障していないプロセッサまで区画ごと一緒に切り離してネットワークを繋ぎ換えるので、大きく稼働率が下がりました。Crayは稼働率を優先させた所、迂回する通信経路上で通信の衝突が頻発して、通信性能が落ちていました。当時日本には、まだ数千個のプロセッサを接続する技術しかなかったのですが、私達は一気に飛び越えて、これらを上回るものをつくろうと検討に入りました。

使いやすさを突きつめて、「仮想3次元」を発案

安島 私は2005年から開発に参加するようになりました。そして、2006年はじめに、研究所と事業部の間で検討が本格化しました。私は富士通研究所でハードウェアの仕組みを研究する部署にいたのですが、2月に事業部の人達と伊豆高原で合宿をすることになりました。2、3人の組に分かれてブレインストーミングをして発表する。その中で、3次元接続を拡張しようと方向性が決まりました。さらにここで議論をしたことがベースとなり、3月頃にはトーラスを階層型に拡張したネットワークを「仮想3次元」でユーザが使うという基本アイデアが固まりました。

「仮想3次元」というのは、3次元よりも複雑なネットワークなのに、ユーザがソフトウェアから使う時には3次元に見えるというものです。ペタスケール(秒速10ペタフロップス=1京以上)の演算性能をもつスーパーコンピュータを実現するには、8万個を超えるプロセッサを繋いで通信経路を増やす必要があります。3次元接続では足りなくて拡張する場合、ネットワークだけを考えれば階層を追加したり、4次元、5次元接続にして経路を増やしたりするのが自然ですが、拡張された複雑な通信経路を使いこなすソフトウェア開発は、ユーザにとって大きな負担になります。そこで多くの人が使いやすい3次元に見える「仮想3次元」を提供する、という発想の転換をしました。

性能を追求し、次のステージへ。6次元接続を実現!

安島 2006年までは研究所を中心に概念設計を進めてきましたが、2007年に推進室が事業部に移り、「次世代テクニカルコンピューティング開発本部」が組織されました。新組織で再検討が行われ、物量をかけてもいいから性能を強化しようということになりました。それまで物量節約のためにちょっと複雑な「階層型」ネットワークを採用していたのですが、物量を増やして「非階層型」に転換し、その上で「仮想3次元」を実現しようと検討した所、現在の6次元接続方式に落ち着きました。6次元接続ではプロセッサ12個のグループを3次元で接続し、そのグループも3次元で接続しています。グループ内の3次元は大きさが2×3×2に固定されており、グループ間の3次元はグループ数を増やせるようにしてあります。特徴の違う3次元を2つ組み合わせて6次元にしている所が面白いと思います。

図 : 「6次元接続技術」の最終的な概念モデル。プロセッサ(小球体)12個のグループ(大球体)を3次元に接続したネットワーク。グループ内部も小さな3次元格子で接続。プロセッサの座標はグループ間3次元、グループ内3次元の合計6次元で表される。

「6次元接続技術」の最終的な概念モデル。プロセッサ(小球体)12個のグループ(大球体)を3次元に接続したネットワーク。グループ内部も小さな3次元格子で接続。プロセッサの座標はグループ間3次元、グループ内3次元の合計6次元で表される。

「京」が色々なベンチマークでトップになり、2019年に引退するまで通信性能が重要なGRAPH500で世界一を続けられたのも、実際使っている人からの評判が良かったのも、やっぱりこの時点で物量を増やし、性能を強化したことが大きかったと思います。

アイデアをカタチに。チームの共通認識をつくる

安島 概念設計から、製造段階に向けて詳細設計に移行する時が、個人的には最大の壁でした。概念設計は、研究所で自分が中心となって上司や先輩、後輩等同僚のサポートを受けて少人数でアーキテクチャを開発していて、コンピュータに向かってコードや回路を書けば済むことも多かったです。それが詳細設計になると、メンバーが数百人規模に増えました。ハードウェアの論理設計・検証チーム、ソフトウェアのOS、デバイスドライバ、通信ライブラリチームが中心になって、私は各チームに仕様書を提供してサポートする立場になりました。文書にして配布して、会議をして説明をしなくてはならない。そういう作業を全然想像できていなくて、多くの人と一緒にものづくりをするためには仕様書が一番大事だということも、事業部に籍ができて初めて、なるほどと分かりました。

コードネームは「豆腐」!?親しみやすくて、できる奴

安島 階層型も6次元接続もそれぞれ特許を取得しています。2006年に階層型を特許出願した時の開発コードネームは「ToFuインターコネクト」。2007年の再検討後に6次元接続の特許を出願した時は「Tofuインターコネクト」として『f』を小文字にしていました。コードネームは「豆腐」からつけていて(笑)、水冷式のシステムで、どこからも好きに切り分けられることと、食べものの名前がいいなと考えて思いつきました。「ToFu」には『トーラス(注2)とフルコネクション』、「Tofu」には『トーラスとフュージョン』という意味もかけています。

(注2)トーラスとは、各次元がループしている多次元ネットワーク接続のこと

「6次元接続技術の画期的な所は?」というと、10万個を超えるプロセッサの接続が可能になったこと。グループを単位としてどこからでも細かく切り分けて使えるようになり、様々な並列プログラムを効率良く実行することができるようになったこと。もしどこかプロセッサが故障しても、故障した所を迂回して避けてくれます。それによるデータ通信の渋滞や、保守交換のために隔離する区画も最小限にとどめることができるから、性能を発揮できて稼働率が高い。これらによって、大きな問題が解けることと、特定の人だけに限らず色々な人が使えることを両立するスーパーコンピュータを、実現できたことだと思います。

後編では、開発チームへの思い、ヴェールを脱いだ「富岳」の実力等も聞きます。

プロフィール
安島 雄一郎

富士通株式会社
プラットフォーム開発本部システム開発統括部
PRI. アーキテクト(インターコネクトアーキテクチャ担当)

1997年東京大学工学部電気工学科、2002年同大学大学院工学系研究科情報工学専攻博士課程修了、博士(工学)。
同年株式会社富士通研究所入社、2007年富士通の事業部門へ異動。スーパーコンピュータ「京」「富岳」のインターコネクトを開発。
平成24年市村産業賞 貢献賞、平成26年全国発明表彰 恩賜発明賞、平成29年文部科学大臣表彰 科学技術賞を受賞、令和2年春の褒章で「紫綬褒章」を受章。