YouTubeからPivotサービスへの配線

昨日は、Radio Mindで定期受信しているFM放送から文字起こししたものをPivotサービスに送信するプログラムの開発をしましたが、複数のリポジトリーを行ったり来たりする作業で認知負荷が増大しました。

そこで、少し頭を休めるために、今日は脇道に逸れて、YouTubeのニュースチャンネルや技術解説動画を自動取り込みしてPivotサービスに流すプログラムの開発を始めました。

上の図がその流れです。

青枠の部分が今日開発した部分。

• YouTubeからyt-dlpで音声トラックをダウンロードして保存し、メタデータを作成
• WhisperでAI文字起こし
• Pivot用データの生成

明日以降、生成したデータをPivotに投入する機能を追加します。

Pivotサービスは、受け取ったデータの正規化、観測軸抽出、標準化、保存までを、そこそこ賢く処理してくれるので、データを投入するところまでを作り込めば、観測データとして使えます。

世界のニュースを取り込む機能はすでに完成しています。
それに加えて国内のニュースと技術解説情報が多次元意味空間に取り込まれます。

毎日深夜に取り込む世界のニュースと国内のニュース、毎朝取り込む国内のラジオ放送。
これの３つがPivotサービスに入れば、世の中の出来事を観測できる体制ができあがることになります。

文字起こしと観測軸の抽出にAIを使っています。
この部分はAIを使わないで実装するのはかなり大変です。
良い道具を手に入れられたと思っています。