大規模言語モデルの追加学習（チューニング）の結果
ChatGPTなどと比べると何桁も規模の小さなRinna社の言語モデル（36億パラメーターのもの）は日本語の前提として作られたものです。それに2000件程度のデータセットを使ってチューニングしてみました。 GPUはRTX … 続きを読む
独り言
カヤックのCAD図の続き
この投稿の続きです。 実際にモノづくり塾で作ろうと思っている形状をCAD図に落とし込みました。 一人乗りの小型カヤック。以前にも書きましたが、最終的に欲しいのはバルクヘッドの図面なのでこのような３次元表現は全体の形状を確 … 続きを読む
再度大規模言語モデルについて
昨日から動かしている大規模言語モデルの追加学習。基本的な学習が済んだモデル（Pretrained Model）のファインチューニングと呼ばれる作業です。 たったの2000件のデータセット、サイズにして17.1MBのテキス … 続きを読む
カヤックのCAD図面
FreeCADのカーブワークベンチとパートワークベンチを使って立体構造を描く練習をしています。 これは１/３スケールくらいで描いたカヤックの図面です。 長さ方向に８分割した座標平面のうち、先頭、中間、最後の３平面に断面図 … 続きを読む
大規模言語モデルの学習
大規模言語モデル(LLM)の学習中。 VRAM12GBのGPUでやれる程度のそんなに大きくないやつ。 学習するデータはこんな格好をしたものがズラーと並んだテキストです。 { “output”: & … 続きを読む
モノづくり塾のサーバー
多めにメモリを積んでファイルサーバー兼アプリケーションサーバーとして一台PCを組もうと思案中です。 OSはDebianベースのOpen Media Vaultとして、大容量のHDDを冗長構成にして耐障害性を持つようにする … 続きを読む