ツール解説

音声を外に出さない音声入力を、Mac の中だけで組んだ

Photo: AJ Montpetit (CC0 1.0) via StockSnap

解きたかったこと

キーボードの代わりに話して入力し、AI が言いよどみを取って整えてくれる音声入力サービスがある。これを、音声を外に出さずに手元の Mac だけでやれないかと思ったのが始まりだった。Apple Silicon なら Whisper も小さな LLM も MLX で動く。既存のアプリもいくつか見たが、MLX で動くものは見つからなかったので、自分で組むことにした。

条件は 3 つにした。話した音声とテキストを Mac の外に出さないこと。キーを押している間だけマイクを開くこと(常時開いているとマイク使用中の表示が出たままになる)。話し言葉の「えー」「あのー」を取ってから貼ること。

どう組んだか

部品は 4 つ。

役割使ったもの
書き起こしmlx-community/whisper-large-v3-turbo(MLX 版 Whisper)
整形mlx-community/Qwen2.5-3B-Instruct-4bit(フィラー除去と句読点だけ)
キーの検知と貼り付けpynput(右 Option の押下と Cmd+V の送信)
常駐rumps(メニューバーのアイコン)

流れは単純で、右 Option を押すとマイクを開き、離すと録音を Whisper に渡し、書き起こしを LLM で整え、クリップボード経由で貼り付けてから元のクリップボードを戻す。MLX の処理はすべて worker スレッド 1 本に集め、キー入力とメニューバーのスレッドを止めない。

整形の LLM には「内容の追加・要約・言い換えはしない」「質問の形でも答えない」と指示し、例を 2 つ渡している。それでも 3B の小さなモデルは、書き起こしが質問の形だとそれに答えてしまうことがある。そこで、整形結果と書き起こしの似ている度合い(difflib.SequenceMatcher)が 0.5 を下回ったら、整形を捨てて書き起こしをそのまま貼る。

def accept_polish(raw, polished):
    polished = (polished or "").strip()
    if not polished or SequenceMatcher(None, raw, polished).ratio() < MIN_SIMILARITY:
        return raw
    return polished

いちばん手こずったのは macOS の許可

マイク・アクセシビリティ・入力監視の許可は、macOS がアプリ単位で持つ。launchd から python を直接起動すると、許可の対象が python そのものになり、マイクの許可ダイアログすら出なかった。

そこで、run.sh を子プロセスとして起動して待つだけの小さな C のランチャーを VoiceInput.app に仕立て、許可をそのアプリに持たせた。Python 側をいくら直しても、アプリを作り直さない限り許可は残る。

char *argv[] = {"/bin/bash", RUN_SH, NULL};
if (posix_spawn(&child, "/bin/bash", NULL, NULL, argv, environ) != 0) return 1;

回してみて直したこと

速さは十分だった。2〜10 秒の発話が、1.4〜3.3 秒で書き起こされて貼られる。ただし、ときどき 13〜15 秒かかる回がある。しばらく使っていなかった直後に多いので、メモリから追い出されたモデルを読み直しているのだと思う。起動時のモデル読み込みは 5〜35 秒と幅がある。

整形は、作った日のうちに一度外れた。書き起こしが「〜ですか」で終わる質問の形だったとき、LLM が整える代わりに質問へ答えてしまった。プロンプトで止めきれなかったので、上に書いた「書き起こしから離れすぎたら整形を捨てる」仕組みを足した。それ以降は、句読点が 1〜2 字増える程度の整形に収まっている。

正直に書くと、まだ使い込めてはいない。音声入力そのものは毎日使っているが、クラウドの音声入力サービスや、Claude のアプリに付いている音声入力と併用していて、手元で組んだこれを選ぶ場面はまだ少ない。作ってから 5 日後には別の Mac にも入れたので、使い分けが固まったら、どこで手元のほうを選ぶのかを書き足したい。

ここまでに直したことを、いつ入れたかを添えて並べておく。

自分の環境で動かすには

Apple Silicon の Mac と、約 3.5GB の空きがあれば動く。

git clone https://github.com/masakiplus/voice-input.git
cd voice-input
bash install.sh

そのあと、システム設定 → プライバシーとセキュリティ で VoiceInput にマイク・アクセシビリティ・入力監視を許可する。メニューバーが ⏳ から 🎙 になったら、テキスト欄で右 Option を押しながら話す。

録音のキーは config.env の VOICE_INPUT_HOTKEY で右 Command などに変えられる。マイクを使わずに試すなら uv run voice_input.py --file 音声.wav。

まさきん
AIプロダクトマネージャー・四児の父

家の中の困りごと(子どもの毎日ドリル、家計の記録、通知の整理)を自分で小さなツールにして回すのが趣味で、作ったものはできるだけコードごと公開しています。

くわしいプロフィール →

関連記事

RELATED