Gemma 2

左はRTX A4000搭載のCore i5 13500でGemma 2 9Bモデルを使用、右はCore i5 13400でGemma2 9Bの4bit量子化モデルを使用。 GPU有りの場合が16秒、GPU無しの場合が1分 … 続きを読む