JetsonでQwen3.5-9Bを実行する方法と課題

Question

現在、Jetsonデバイス上でQwen3.5-9BモデルをローカルAIサーバーとして動作させようとしています。しかし、この組み合わせに関する情報や実装例を見つけることができず、特にレスポンスを1分30秒に高速化する方法について悩んでいます。皆さんはJetsonで大規模なAIモデルを実行した経験がありますか？また、どのようなチャレンジや代替手段が考えられますか？

JetsonでQwen3.5-9Bを実行する方法と課題

相談内容