ZIKUU Distillery – LLM蒸留ツール
Inference Brokerを作ったことによって、LLMを「特定の能力を持った推論資源」として扱えるようになりました。 これまで、LLMは大きくて賢いものを使うのが良い、そのためには大きなVRAM、高速なGPUが必要 … 続きを読む
蒸留
Inference Brokerを作ったことによって、LLMを「特定の能力を持った推論資源」として扱えるようになりました。 これまで、LLMは大きくて賢いものを使うのが良い、そのためには大きなVRAM、高速なGPUが必要 … 続きを読む