LLM BrokerのOpenAI APIにストリーム出力機能を実装する
昨日は、Open WebUIからOpenAI APIでLLM Brokerに接続できる、というところまでやりました。今日は、LLM Brokerにストリーム出力機能を実装しました。 開発で使っているPCは CPUがCor … 続きを読む
昨日は、Open WebUIからOpenAI APIでLLM Brokerに接続できる、というところまでやりました。今日は、LLM Brokerにストリーム出力機能を実装しました。 開発で使っているPCは CPUがCor … 続きを読む
コアサービスが本番稼働に漕ぎ着けたので、しばらくゆっくりしようと思っていましたが、やることがあるとじっとしていられません。 必要だと思って作った仕組みの上に、新しい必要が見えてくる。 必要は必要の母です。 LLM Bro … 続きを読む
ZIKUUのアプリケーションサーバーのバックアップ用外付けHDDが認識されなくなりました。 このHDDは、夜間にRAIDディスク(データベースやファイルサーバーのデータが入っている)からインクリメンタルバックアップをする … 続きを読む
ZIKUUの論文検索ボットでやっているのと似た方法で、ローカルLLMを使ってarXiv論文を取得して概要を表示する方法を紹介します。 動作環境は、 です。 Open WebUIでフォルダーを作り、そのフォルダーのシステム … 続きを読む
ZIKUUコアサービスは、 などから構成されるサーバー群のこと。これらは、業種、分野、利用者の種類を問わない。 最近は、大きなコンテクストウィンドウを持ったLLMが増えている。 大きなプログラムの解析やコーディングをする … 続きを読む
ギター製作を経験しにきていた大学生さんが、新学期が始まる9月になる前に、もう一歩新たな挑戦をすることになりました。7日間ほどでやれる内容です。 ギター製作講座後の工作1日目として、今日は材料作りをしました。 今日は車庫の … 続きを読む
小さくてもあった方がいいと思ってチェーンソーを購入しました。 早速、丸太から木工旋盤などで使う材料を取ります。 こんな風に。 車庫の前の日陰で作業を始めたんですが、午後からは、陽が差し込んでくるので暑くてバテました。 塾 … 続きを読む
LLM Brokerは のを目的に開発したミドルウェアですが、早速、拡張を検討しています。 現行の仕様は後方互換性を維持するために残し、新たにOpenAI API互換機能を追加する。 今は、Open WebUIから直接l … 続きを読む
一つ前の投稿で、コアサービスが完成して本番稼働を開始したと書きましたが。 ZIKUUは、 が揃いました。 各々は、これからも熟成・増強していきますが、技術、知識、思考、判断、継承の機能が備わった状態、つまり文明を継続・起 … 続きを読む
本番といっても、しばらくは検証をすることになりますが。 やっとコアサービスの開発が一段落して、本番サーバーで稼働できるようになりました。 コアサービスのソフトウェアだけで、約60万行のプログラムです。これから多少増えると … 続きを読む