2358873_ja-JP

是

DNPUクラスタ

NPUクラスターの夢 -

だから、私には夢がある。PCIeスイッチドライザー上に16168カードを4枚組み合わせて、LLMを実行するNPUクラスタを構築したいと考えています。できれば、GPUと並行してWindows上で異種混在のコンピューティング環境で動作するようにしたいです。あるいは、Ubuntuマシンにインストールすることもできます。私は一体どれほどおかしいんだろう？それを解明するために、GeminiとCursorに働きかけている。Cursorはこれが妥当だと考えているようですが、もう少し情報がないと、実行可能なドライバーを導き出すことはできません。Cursorは、Windowsホストのイネーブルメント（プログラマーズガイド、ファームウェアパッケージ、リファレンスドライバまたはポーティングキット、および再配布条件）を要求するか、あるいはそれが存在しないことと、適用されるNDAパスを確認することを求めている（これは彼の希望リストかもしれない）。

Re: DNPU cluster

こんにちは、

どうやらあなたはARA240に似たものを作ろうとしているようですね。
https://www.nxp.com/products/ARA240

また、ARA240と組み合わせるためのi.MX8MP FRDMボードにもご興味があるかもしれません。
https://www.nxp.com/design/design-center/development-boards-and-designs/FRDM-IMX8MPLUS

よろしくお願いいたします。
アルド。

Re: DNPU cluster

追記 - このカードは私が欲しいライザーカードのようです:: https://www.google.com/search?q=4+Port+M.2+NVMe+PCIe+4.0+Switch+Expansion+Card+No+Bifurcation+Needed...

Re: DNPU cluster

はい！ありがとうございます。Ara240がマターの核心です。16168モジュールへの言及はGateworks GW16168に関するもので、私の知る限り、Ara240 16GB M.2モジュールとそれほど大きな違いはないはずです（もし分かりにくい表現でしたら申し訳ありません）。私が作ろうとしているのは、SBUというよりはPCIe拡張カードと呼ぶ方が適切でしょう。スイッチ付きPCIEライザーカードは元々M.2 mキードライブの拡張用に設計されたものですが、私はそのPCIEインフラストラクチャを再利用して4つのAra240 m.2モジュールをホストし、ローカルでLLMを実行するためのクラスタを構築したいと考えています。Tensor LLM構造が私のGPUでうまく機能するかどうかは分かりませんが、ぜひ試してみたいです。私の最大の希望は、自分のPC上で異種混在型のコンピューティング環境を実現することです。とにかく、本当の決め手はドライバーの構造にあるようだ。私のカーソルエージェントは多くのことができるように感じますが、Ara240チップに関するソフトウェアレベルの情報がもう少しないと、実際にできることには限界があります。