ブログ / ローカルLLMって、何?

LLMとは/ローカルとは

LLM(大規模言語モデル)は、文章を読んで文章を返すAIの総称です。ChatGPTもClaudeもGeminiもLLM。通常はクラウドの巨大サーバーで動いていて、あなたの入力はサーバーに送られて処理されます。ローカルLLMは、この頭脳の「小型版」をPCにダウンロードして、PC内だけで動かす使い方です。MetaやGoogleなどが公開しているオープンなモデルがあり、誰でも無料で使えます(Whisperの話と同じ構図です)。

なぜPCで動くようになったのか

1. 小型で優秀なモデルが公開された。 数十億パラメータ級の「小さい」モデルの品質が、ここ数年で実用水準に達しました。要約・整理といった定型タスクなら十分こなします。
2. PCのAI性能が上がった。 Apple SiliconのGPU/Neural Engineなど、AI計算に向いた回路が普通のPCに載るようになりました(詳しくはこちら)。
3. 省メモリ化の技術。 モデルを圧縮(量子化)して、数GBのメモリで動かす技術が成熟しました。

クラウドAIとの正直な比較

要するに「最高の賢さ」ならクラウド、「機密と定型処理」ならローカルです。小説の執筆相談はクラウドAIに、機密会議の要約はローカルLLMに——が正しい使い分けです。

文字起こし×ローカルLLMの相性

文字起こしの後工程(要約・決定事項の抽出・整形)は、まさにローカルLLMの得意な定型タスクです。そして文字起こしをローカルで守ったのに、要約でクラウドAIに全文を貼ったら台無し——という落とし穴があるため、この2つはセットでローカルであることに意味があります(AI要約の実務)。WhisperHUBがローカルLLMを同梱しているのはこのためです。文字起こし(Whisper)→話者分離→要約(ローカルLLM)まで、録音の中身は一度もPCから出ません。