Whisper

Inference Broker – 推論資源のプラットフォーム化

by

NPU搭載のPCが加わったことで、これまでのCPU/GPUを使う推論処理以外の選択肢が増えました。 この機会に、これまで開発してきたLLM BrokerとVision Brokerを統合して、推論資源の管理もできる推論プ … 続きを読む

Inference Brokerの開発

by

これまで文章生成系はLLM Broker、画像処理系はVision Brokerを開発して、ZIKUUのアプリケーションや第三者のアプリケーションを接続していましたが、もう少し柔軟で容易に推論資源を利用できるように、これ … 続きを読む

YouTubeからPivotサービスへの配線

by

昨日は、Radio Mindで定期受信しているFM放送から文字起こししたものをPivotサービスに送信するプログラムの開発をしましたが、複数のリポジトリーを行ったり来たりする作業で認知負荷が増大しました。 そこで、少し頭 … 続きを読む

ニュースの比較実験１

by

文字起こしアプリの運用を始めたので、YouTubeの報道動画から文字起こし、AI翻訳・分析というのを時々やってみようと思います。 プロンプトチューニングの練習と思考の材料になればと思っています。 今日はイランの状況につい … 続きを読む

ローカルLLMを使ってWebアプリケーションを開発する

by

すでにWhisper PlaygroundというYouTube動画から文字起こしするアプリケーションを開発していますが、その軽量版をローカルLLMを助手にして開発していました。 アプリケーション概要 yt-dlpでダウン … 続きを読む

Radio Mindを本番環境で稼働させる

by

しばらく試験運用をしようと、Radio Mindを本番のサーバーにデプロイしました。毎日定時にFMを受信→AI文字起こしが、想定通り動くか、1週間か2週間動かして、動作の確認を行います。 動作が確実であることを確認したら … 続きを読む

Radio Mindの文字起こしを自動化

by

昨日、FM放送の受信をスケジューリングする機能を実装しましたが、タイムゾーンの扱いを誤っていたのでそれを修正しました。 これで、曜日、時刻、局を決める定時受信が正常に動作するようになりました。 次に、受信したら即座に文字 … 続きを読む