はじめに
9月15日にJevというのが出たらしい。Structured Outputしかできない代わりに非常に安価で速度が速いAIということだった。せっかくなので少し触ってみた。
何が向いてそうか
曖昧な定義なものを厳格な型つきのものに変換する。ということ「自然言語をCLIコマンドに即時変換する」というツールをとりあえず作ってみる。「natural-language-interface」と銘打ってみる。
仕組みは非常にシンプルで特に解説するほどのこともない。APIは汎用性を考えてOpen Routerのものを使うことにする。
自然言語でコマンドを出力させる。
例えば、
nli gh リポジトリを開くと打ってEnterを押すか、
gh リポジトリを開くと打って設定可能なキーを押すと、コマンドがJevに変換されるようにした。
gh browseと返ってくる。少し試したが良い感じだ。信頼性が低く、複数の候補がある場合はfzfから選べるようにした。
おわりに
とにかく速い。OpenRouter経由で日本からの接続なので若干ラグはあるはずだがすぐに回答が得られる。次に、安い。500回以上リクエストしても0.1ドルもかからない。また、回答に信頼性の数値が付随してくるのが良い。
コマンドが分からないだけのことでいちいちLLMに聞く必要がなくなった。次々にbreakthroughが出てきて怖い。