LLM BrokerのOpenAI APIにストリーム出力機能を実装する
昨日は、Open WebUIからOpenAI APIでLLM Brokerに接続できる、というところまでやりました。今日は、LLM Brokerにストリーム出力機能を実装しました。 開発で使っているPCは CPUがCor … 続きを読む
AI
LLM BrokerにOpenAI API準拠機能を追加する
コアサービスが本番稼働に漕ぎ着けたので、しばらくゆっくりしようと思っていましたが、やることがあるとじっとしていられません。 必要だと思って作った仕組みの上に、新しい必要が見えてくる。 必要は必要の母です。 LLM Bro … 続きを読む
生成AIを使ってarXiv論文を読む方法
ZIKUUの論文検索ボットでやっているのと似た方法で、ローカルLLMを使ってarXiv論文を取得して概要を表示する方法を紹介します。 動作環境は、 です。 Open WebUIでフォルダーを作り、そのフォルダーのシステム … 続きを読む
ZIKUUコアサービスが解決する問題 – コンテクストウィンドウ問題
ZIKUUコアサービスは、 などから構成されるサーバー群のこと。これらは、業種、分野、利用者の種類を問わない。 最近は、大きなコンテクストウィンドウを持ったLLMが増えている。 大きなプログラムの解析やコーディングをする … 続きを読む
LLM Broker拡張案
LLM Brokerは のを目的に開発したミドルウェアですが、早速、拡張を検討しています。 現行の仕様は後方互換性を維持するために残し、新たにOpenAI API互換機能を追加する。 今は、Open WebUIから直接l … 続きを読む
文明バックアップの背骨ができたら・・・
一つ前の投稿で、コアサービスが完成して本番稼働を開始したと書きましたが。 ZIKUUは、 が揃いました。 各々は、これからも熟成・増強していきますが、技術、知識、思考、判断、継承の機能が備わった状態、つまり文明を継続・起 … 続きを読む
コアサービスすべてを本番運用開始
本番といっても、しばらくは検証をすることになりますが。 やっとコアサービスの開発が一段落して、本番サーバーで稼働できるようになりました。 コアサービスのソフトウェアだけで、約60万行のプログラムです。これから多少増えると … 続きを読む
コアサービスの骨格が完成する – Fact Builderを作る
国際ニュースの文脈抽出パイプラインが完成して、 のすべてについて、原本保存→文脈抽出の流れを実装できました。 さらに国際ニュースについては、Pivot Serviceにデータ投入をする機能を開発しました。 これまでは、専 … 続きを読む
CPS – CBESパイプラインのfan-out
一つ前の投稿の続きです。 Nerve Pipeline側に、同一のCollectorイベント（データの原本を収集確定イベント）に対して、複数のCBESレシピを実行できるよう、fan-out機能を実装しました。 これは基礎 … 続きを読む