Large Language Model をローカルで動かす時代が到来するらしい。

Reddit には LocalLLaMA というサブレディットがあり、かなり盛り上がっている。 そこでは シリコンマックを使っているひとが結構いる。 Meta の 商用利用も可能な Llama 2 がオープンソースで提供された結果、 その派生プロジェクトがいろいろ存在している。 そのなかには、低スペックの シリコンマックでも LLM を実行できるものがある。 Pytorch もMetal 対応していて、 おそらくは、Pytorch 依存の LLM モデルについては、Linux + CUDA と同じ手順で動かせるのではないかと思う。

Pytorch を使う方法を 手元の M1 Macbook Air 8GB で試したが残念ながら作動しなかった。 たぶんメモリが足りないのだと思う。 十分メモリがあれば動くのではないかと思うが定かではない。

それでも Llama.cppと軽量化されたモデルを使うことで M1 Macbook Air 8GB でも作動させることができた。

このエントリーでは、Linux + CUDA で、 Llama 2 をベースに商用利用可能な日本語LLM ELYZA を試します。

Windows 11 の WSL での話です。 久しぶりの使おうとしたら 以前に設定した open コマンドが使えなくなっていた。 調べたところ firefox.exe へのパスが変わっていた。 Firefox がどのパスにインストールされるかは、環境によってマチマチかもしれないのだが、とりあえず、ここの環境で動いた例を書き残します。

いつも使っているペンたち。 主には sarasa nano で、時々 uni-ball ONE F を使う。 sarasa nano はずっと 黒 / 青 / 赤 の三色の使い分けのために３本運用できたのだが、 最近、もう一色使いたくなり、もう一本軸を追加（ブルーグレー）した。 既存の三色 黒 / 青 / 赤 に対してコントラストのある色となると 緑 かな、ということで緑の替芯を探しました。

Underscore.js を以前は Node.js + Babel + Webpack を使って 一つの jsx ファイルにまとめて使っていた。 しかし、時が経ち Node.js 自体もバージョンアップされモジュールもバージョンアップ・・・ なんやかんやで今や最新の環境ではうまく作動しないことがわかった。

InDesign も UXP が使えるようになったので、 ExtendScript で ES6 記述ができるとか今さら・・・とも思うのですが、ビジネスにおいては まだ当分の間 ExtendScript が使われていく気がするので、 最新の Node.js 環境で ExtendScript 用に Underscore.js などのモジュールの利用、 そして ES6 スタイルでの const, let, テンプレートリテラル, アロー関数などの構文が記述できる状態にしたい。

ごく簡単なコードでしか検証していませんが、 やり方がわかったので、備忘録としてシェアします。

Android の手描きアプリで描いたスケッチを Webアプリに転送できないか試している。 とりあえず最低限動くものができた。

Watch this demo on YouTube

上の動画は、ドラッグアンドドロップ（以後 DnD）テスト用の Android アプリの View に手描きしたコーヒーカップを Web ページにドロップしたところ。Web ページ側はもちろんドロップを受け付けるコードが仕込んである。

Go で listFiles する方法(改良版) の改良版。

何をどう改良したいかというと、 たとえば Groovy で記述した場合・・・

Auto Encoder は、 Encoder と Decoder の２つのネットワークを使って、 入力画像から出力画像を生成するものです。 このとき出力画像を入力画像と一致するようにネットワークをトレーニングします。 そうやって入力画像からそれとそっくりな出力画像を生成できるようになったら 中間生成物である Encoder の出力情報（これを潜在ベクトルと呼ぶ） を利用することを考えます。

Encoder の出力情報（潜在ベクトル）は、入力のそれより少なくなるようにモデルを設計しているので、 潜在ベクトルは入力画像の特徴を凝縮した形で表現されていると考えることができます。 ならば、潜在ベクトルが似ている画像は、 元の画像も似た画像に違いない。 この性質を利用して、潜在ベクトルが似た画像を探すことで、 画像を分類したり・画像を検索したりすることが実現できる、という発想です。

もう３年も前に書いたエントリー Chromebook に Androidアプリをサイドロードする、非デベロッパーモード の補足です。

基本的にはこの記事の通りで、Chromebook に Androidアプリ（apk）を sideloading することができたのですが、 adb connect ip アドレス指定するときに、一緒にポートを指定しないと意図通り作動しないことがわかりました。

ChromeOS のバージョンは Version 116.0.5845.168 (Official Build) (64-bit) です。

ファンレスではないがほぼ無音で運用できる NUC7i3BNH の新品の入手が難しくなって 困っていたが、ついにその代わりとなるファンレスの MiniPC が AUSU から出る、 ということで、発売と同時に入手したのですが、しばらくお蔵入りでした。

入手してすぐ作動確認も兼ねて Windows11 のセットアップだけはしていました。 もともと Ubutu Desktop または Ubuntu Server として使うつもりだったのですが、 Ubuntuをインストールするには、TPM とか Secure Boot関連の問題が起きそう、 問題が起きた場合に備えて時間と心に余裕があるときに・・・などと 先延ばししているうちに１ヶ月以上も時間が過ぎてしまいました。 もったいない。

以前のエントリーで PyTorch と Diffusers ライブラリを使って Stable Diffusion を使いました。 TensorFlow でも Stable Diffusion できる ことがわかったので、備忘録として書き残します。 tensorflow-metal を使うことで TensorFlow を M1 macbook air などの Apple silicon 搭載マシンの GPU を使って実行できます。

こちらの方法 Conda なしで Stable Diffusion する（Diffusers ライブラリを使用）M1 mac と Linux + CUDA でも、Apple silicon の GPU を活かして Stable Diffusion を動かすことができますが、 コードをそれように変更する必要がありました。 一方で、tensorflow-metal では Tensorflow にプラグインする形なので、 コード変更が不要です。 単に tensorflow-metal のモジュールをインストールしておきさえすれば、GPU 対応になり処理が速くなる、という仕組みです。

手描きの線画から Stable Diffiusion とその周辺ツールを使って絵を作るワークフローのまとめです。 全体像はこんな感じ。

H2 Database Engineを kotlin から使う方法を調べた備忘録です。