塾長の独り言 – ページ 21

GPUを使わない生成AIの続き

2023年11月8日 by kazuo.tsubaki

前の投稿は生成された文章をコンソールにストリーミング出力するものでしたがStreamlitを使ったWeb UIを作ってみました。 CallbackHandlerというクラスを使ってやればできるということがわかって良かった … 続きを読む

2023年11月7日2023年11月7日 by kazuo.tsubaki

LlamaCppを使いGPUを使わずにCPUだけで大規模言語モデルを扱う例を文書化しモノづくり塾の資料館に保存しました。実行している様子です。 ELYZAの70億パラメーターのものを量子化して軽くしたモデルを使った例で … 続きを読む

2023年11月6日 by kazuo.tsubaki

StreamlitはPythonでWebアプリケーションを開発するときに使用するフレームワークの一つです。 Pythonは研究や教育の現場使われることが多いプログラミング言語ということもあってか、研究や教育の本質的なテー … 続きを読む

2023年11月5日 by kazuo.tsubaki

前の投稿で触れたRustformersを使って生成AIサーバーを動かす実験をしました。これはRustで書かれたTransformerのライブラリです。 Rustformersは現時点では量子化されたモデルに対応していない … 続きを読む

2023年11月4日 by kazuo.tsubaki

モノづくり塾でAIの学習をするために、ある程度は学習者の敷居を下げたいと思います。塾に学習用のコンピューターを置きますが、これだって高価なGPUを搭載するわけにもいかず制限があります。塾のサーバーにもGPUを載せようと … 続きを読む

2023年11月3日 by kazuo.tsubaki

注文をいただいたので作っています。革を染め水を含ませて型にはめて成形したものを裁断して接着した状態です。この後縁を手縫いしてから仕上げに入ります。レザークラフトは比較的始めるときの敷居の低いモノづくりです。このような … 続きを読む

2023年11月2日 by kazuo.tsubaki

令和６年５月オープン（予定）時点でのフロアレイアウトです。作業場の四角い箱はすべて台です。重量級の機械以外は可能な限り可動式にする予定です。道具や工具はなるべく壁掛けにするか、台の下に収納をつけるなどして対応すること … 続きを読む

2023年11月1日2023年11月1日 by kazuo.tsubaki

Climate Change Scamなどという単語でネット検索をするとたくさん見つかる気候変動詐欺。「scam」は「詐欺」の意味です。みなさんは「正常性バイアス」という言葉を知っていますか？正常性バイアスは認知バイ … 続きを読む

2023年10月31日 by kazuo.tsubaki

モノづくり塾のITテーマの一つです。教材なのでプログラムはなるべくシンプルに書いています。サーバー側はNodeJS、クライアント側はReactを使っています。動画を送信するバックエンドのサーバーと動画を再生するフロント … 続きを読む

2023年10月30日 by kazuo.tsubaki

NVIDIAのGPUを取り付けたPCにインストールするOSとしてPop!_OSは適しているかもしれません。塾のCAD用PCにはNVIDIAのGPUが載っていてOSはUbuntuですが、GPUのドライバーやライブラリーの … 続きを読む