GPUを使わないAI遊び

先日はGPUを使う文書生成AIのチャットボットを作ってみましたが、今度はGPUを使わないCPUのみで文書を生成するプログラムのサンプルを書きました。遊びのレベルですが勉強にもなります。 LlamaCppというCとC++で … 続きを読む

生成AI遊び

研究や勉強は遊びだと思ってやるのが楽しい! 実際に研究をやっている人は楽しいはずですから、遊びだと思わなくても楽しいでしょう。 生成AI遊びです。 ELYZAの70億パラメータの言語モデルをGradioでチャットボットを … 続きを読む

AIチャットのカスタマイズ

大したカスタマイズではありませんが、先日紹介したLLMを使ったAIチャットをカスタマイズしてZIKUU版にしました。 出力がストリーミングされない、文脈を忘れるといった問題がありますが、ファインチューニングをすれば結構使 … 続きを読む

大規模言語モデル(LLM)をモノづくり塾で扱う

以前の投稿でRinna社の36億パラメーターのLLMのファインチューニングを手元のPCで行いました。ネット検索をしてみるとわかりますが、老若男女大勢の人がLLMを動かして研究したり遊んだりしています。 大手AI企業のLL … 続きを読む

エッジAI

センサーで取得したデータをAIで処理するのがエッジAI。膨大な数の末端電子機器のデータを毎回サーバーで処理するとネットワークやサーバーの負荷が増えてしまうので、末端電子機器とサーバーとで処理を分担します。 たまたま買って … 続きを読む