音声と視覚の出会い: オムニモーダルモデルがマルチモーダル音声入力を解き放つ

Loqua は Mac 向けのコンテキスト認識型音声入力ツールです。重要な転換は「書き起こし」から「宛先を意識した書き込み」へのシフトです。同じ発話でも、Slack、Cursor、GitHub、Apple Notes、コードエディタでは異なるテキストになるべきです。

本稿は音声 + 視覚 AI に関する私たちの考えの入門編です。音声・言語・マルチモーダルシステムにまたがる公開研究は分野に有用な語彙を提供しますが、Loqua のプロダクションスタックは Mac ディクテーション向けに社内で訓練・最適化したオリジナル研究です。

書き起こしからコンテキストへの転換

音声のみの ASR は一つの問いに答えます。「ユーザーは何の言葉を発したか?」しかし、ディクテーションは第二の問いを投げかけます。「カーソル位置で、その言葉は何になるべきか?」マルチモーダル音声入力が存在する理由は、まさにこの第二の問いにあります。書き起こしは正確であっても、宛先にとっては間違っている可能性があるのです。

コードエディタにディクテーションするときは、句読点、識別子、コメント、選択範囲が重要になります。メールにディクテーションするときは、トーンと段落構造が重要です。タスクアプリにディクテーションするときは、担当者と期限が重要です。画面コンテキスト音声入力は、こうした目に見える手がかりを書き込みの制約条件に変えます。

画面コンテキストがディクテーションを変える理由

同じフレーズでも、アプリによって意味が変わります。「fetch profile の前にガードを追加して」は、IDE ではコードに隣接するテキストになるべきですし、Linear ではタスクに、Slack では平易な依頼文になるべきです。音声だけでは、これらの形式を確実に選ぶことはできません。

Loqua のコンテキストレイヤーは、アクティブなアプリ、選択されたテキスト、近接する可視テキスト、宛先フィールドの種別といったローカル信号を読み取ります。スクリーンショット全体の物語を必要としません。識別子を保持し、挿入か編集かを判断し、適切な出力形式を選ぶのに十分なローカル証拠さえあれば良いのです。

カーソル位置で何が変わるか

宛先が変われば、出力も変わります。これがプロダクトカテゴリとしてのオムニモーダル ディクテーションの実用的な価値です。コンテキストは、書き起こしには下せない書き込みの判断を下します。

プライバシーの境界

画面コンテキストは強力であるがゆえに、明確な境界が必要です。Loqua のコンテキストパスはデフォルトでローカル優先です。アクティブなアプリ、選択されたテキスト、近接する可視コンテンツは、現在の発話を整形するために使われ、汎用の画面ログを作成するためには使われません。

完全な境界については、プライバシー・バイ・デザインのハイブリッドアーキテクチャをご覧ください。要点はシンプルです。音声と画面コンテキストは機密性のあるローカル信号として扱われ、オプションのクラウド機能は周辺の生の画面コンテンツを受け取りません。

参考文献

文献的な背景としては、堅牢な音声認識については Whisper、視覚命令チューニングについては LLaVA、モーダル間の整合については ImageBind から始めると良いでしょう。これらのリンクはこの分野を説明するためのものであり、Loqua の出自を示すものではありません。