解きたかったこと
キーボードの代わりに話して入力し、AI が言いよどみを取って整えてくれる音声入力サービスがある。これを、音声を外に出さずに手元の Mac だけでやれないかと思ったのが始まりだった。Apple Silicon なら Whisper も小さな LLM も MLX で動く。既存のアプリもいくつか見たが、MLX で動くものは見つからなかったので、自分で組むことにした。
条件は 3 つにした。話した音声とテキストを Mac の外に出さないこと。キーを押している間だけマイクを開くこと(常時開いているとマイク使用中の表示が出たままになる)。話し言葉の「えー」「あのー」を取ってから貼ること。
どう組んだか
部品は 4 つ。
| 役割 | 使ったもの |
|---|---|
| 書き起こし | mlx-community/whisper-large-v3-turbo(MLX 版 Whisper) |
| 整形 | mlx-community/Qwen2.5-3B-Instruct-4bit(フィラー除去と句読点だけ) |
| キーの検知と貼り付け | pynput(右 Option の押下と Cmd+V の送信) |
| 常駐 | rumps(メニューバーのアイコン) |
流れは単純で、右 Option を押すとマイクを開き、離すと録音を Whisper に渡し、書き起こしを LLM で整え、クリップボード経由で貼り付けてから元のクリップボードを戻す。MLX の処理はすべて worker スレッド 1 本に集め、キー入力とメニューバーのスレッドを止めない。
整形の LLM には「内容の追加・要約・言い換えはしない」「質問の形でも答えない」と指示し、例を 2 つ渡している。それでも 3B の小さなモデルは、書き起こしが質問の形だとそれに答えてしまうことがある。そこで、整形結果と書き起こしの似ている度合い(difflib.SequenceMatcher)が 0.5 を下回ったら、整形を捨てて書き起こしをそのまま貼る。
def accept_polish(raw, polished):
polished = (polished or "").strip()
if not polished or SequenceMatcher(None, raw, polished).ratio() < MIN_SIMILARITY:
return raw
return polished
いちばん手こずったのは macOS の許可
マイク・アクセシビリティ・入力監視の許可は、macOS がアプリ単位で持つ。launchd から python を直接起動すると、許可の対象が python そのものになり、マイクの許可ダイアログすら出なかった。
そこで、run.sh を子プロセスとして起動して待つだけの小さな C のランチャーを VoiceInput.app に仕立て、許可をそのアプリに持たせた。Python 側をいくら直しても、アプリを作り直さない限り許可は残る。
char *argv[] = {"/bin/bash", RUN_SH, NULL};
if (posix_spawn(&child, "/bin/bash", NULL, NULL, argv, environ) != 0) return 1;
回してみて直したこと
速さは十分だった。2〜10 秒の発話が、1.4〜3.3 秒で書き起こされて貼られる。ただし、ときどき 13〜15 秒かかる回がある。しばらく使っていなかった直後に多いので、メモリから追い出されたモデルを読み直しているのだと思う。起動時のモデル読み込みは 5〜35 秒と幅がある。
整形は、作った日のうちに一度外れた。書き起こしが「〜ですか」で終わる質問の形だったとき、LLM が整える代わりに質問へ答えてしまった。プロンプトで止めきれなかったので、上に書いた「書き起こしから離れすぎたら整形を捨てる」仕組みを足した。それ以降は、句読点が 1〜2 字増える程度の整形に収まっている。
正直に書くと、まだ使い込めてはいない。音声入力そのものは毎日使っているが、クラウドの音声入力サービスや、Claude のアプリに付いている音声入力と併用していて、手元で組んだこれを選ぶ場面はまだ少ない。作ってから 5 日後には別の Mac にも入れたので、使い分けが固まったら、どこで手元のほうを選ぶのかを書き足したい。
ここまでに直したことを、いつ入れたかを添えて並べておく。
- 無音と 0.4 秒未満の録音は捨てる。Whisper は無音から文章をでっち上げることがある。これは最初から入れた
- 起動時にネットへ出ない(
HF_HUB_OFFLINE=1)。モデルは初回に取得したものだけを使う。初回の取得では Hugging Face の新しい転送方式(xet)が途中で止まり、HF_HUB_DISABLE_XET=1で取り直した - 話した内容の履歴を 1 発話 1 行の JSON で残す。最初は時間と文字数しかログに書かない作りだったが、作った日のうちに足した。書き起こし(
raw)と貼った文(pasted)を並べておくと、おかしかったときに書き起こしと整形のどちらが原因かがすぐ分かる。パスワードを話すときのために、メニューで切れる - どこにフォルダを置いても動くよう、
install.sh1 本で uv の導入からモデル取得・アプリ作成・ログイン時の自動起動までを済ませる。5 日後、別の Mac にも入れようとして、ランチャーにrun.shの場所を書き込んでいたせいで動かないと分かったため。場所はアプリを作るときに埋め込む形に変えた
自分の環境で動かすには
Apple Silicon の Mac と、約 3.5GB の空きがあれば動く。
git clone https://github.com/masakiplus/voice-input.git
cd voice-input
bash install.sh
そのあと、システム設定 → プライバシーとセキュリティ で VoiceInput にマイク・アクセシビリティ・入力監視を許可する。メニューバーが ⏳ から 🎙 になったら、テキスト欄で右 Option を押しながら話す。
録音のキーは config.env の VOICE_INPUT_HOTKEY で右 Command などに変えられる。マイクを使わずに試すなら uv run voice_input.py --file 音声.wav。