Gemma 4 E4B を使用して page | drip する の続きです。 このモデルはテキストだけでなく画像も入力できます。 そこで、テキストの代わりに画像を入力して、前回同様のJSON形式を得る方法を試した。

AppleScript を使って Safari から情報を得るに 書いたように page コマンドをつかって Safari に表示中のテキストを得ることができるようになった。 さらにこれを page | drip して そのテキストの要約を得ることを考える。

仕事で OCR を AI に頼むのはユーケースによってはいろいろ問題ある。 それでも人間より精度が高いならもういいのかと思ったり。 いっぽうで精度は高いが人間なら絶対間違わないようなところで間違いがおきるとやっぱり AI に任せるのは無理かと思ったり。 いずれにしてもここまで精度が高くなると、AI が返してきた結果はほぼ間違いがないので、 こたえあわせは「干し草の山から針を探す」感じになる。とても苦痛。 もちろんゼロから自分で文字起こしするのも苦痛。

Gemma 4 がすごいらしい。 Android 上で動かしたりもできるモデルらしいので、活用していきたいと目論む。

AI 質問しつつなんとなくできたはいいけど絶対忘れるので記録を残す。 ollama ではなく llama.cpp を使う。 使用環境は Macbook Air M2 16GB /Tahoe 26.4 です。