出典：青空文庫
･･･う事を論じ、それから推論して、ケラーが彫刻を撫で廻せばその作者の･･･ 寺田寅彦「鸚鵡のイズム」
･･･が合ったつもりでいた推論などが、歴然と目の前の文章となって客観さ･･･ 寺田寅彦「科学と文学」
･･･件では何事も実証的に推論できるはずはない。小説はできても実話はで･･･ 寺田寅彦「蒸発皿」
出典：gooニュース
450TOPSを誇る推論特化の「Dell Pro Max Plus」
これにより、INT8による演算時で450TOPS以上のAI推論性能を実現している。 ただし、消費電力はボード全体で80Wに達しており、性能は高いが消費電力が外付GPU並みということになる。つまり、外付GPUを搭載してAIにも活用するという発想ではなくて、最初からAI推論に特化して外付NPUを採用した製品ということになる。
NVIDIAがWindowsのAI推論をより簡単かつ高速化できる「TensorRT for RTX」を開発 Windows 11でプレビュー
Windows MLの一部として提供されるため、推論エンジンを事前にコンパイルする必要がないことや、ライブラリを事前にダウンロードしておく必要がないことがメリットだ。 NVIDIAによるとTensorRT for RTXは一部の開発者に先行提供されており、フィードバックの結果も良好だという。
NVIDIA、RTX GPUでのAI推論より簡単に高速化できる「TensorRT for RTX」
TensorRTでは、既存の学習済みモデルに対し、量子化などの手法で最適化を施したTensorRT Engine(推論用のエンジン)を生成。推論実行時にこのエンジンを活用することで高速化を図っている。同社の説明では、Microsoftの提供するDirectMLと比べて最大2倍のパフォーマンスが発揮できるという。
もっと調べる
