この飛び石連休、ずっとComputer Useの研究をしていた。いかんせん、Chat GPT Workで派手にやるとトークンがなくなる。5時間待ちがしばしば。最悪はたまにくるリセットを行使するのだが。EVO-X2やDGX Sparkがあるのでそいつを使ってComputer Useをやろうとして、Open WebUIのComputer https://github.com/open-webui/computerをテストしていたが、Dockerで使うと肝心なブラウザがコンテナの外に出ない。Linux Desktopをincusでサクッと作ってみたが、ブラウザがLinux Desktopの上に出るがRDPだと日本語の入力が効かない。もう、八方塞がり。
Open WebUI 0.13.0が出た。
Open Terminalを登録するとあっさりできた。Docker環境でも。なんでやねん。この連休返してw
使ってみたところ、モデル性能が必要で、qwen3.8:27b-mtp-q8_0だと動いた。他のモデルだとポンコツか動かないかもしれない。
設定方法
- Open Terminalをコンテナで起動。
https://github.com/open-webui/open-terminal
Dockerで起動する場合
docker run -d --name open-terminal --restart unless-stopped -p 8000:8000 -v open-terminal:/home/user -e OPEN_TERMINAL_API_KEY=your-secret-key ghcr.io/open-webui/open-terminal
- Open WebUIにターミナルとして登録
- 新しいチャットを開き、タブで、以下のように表示できればOK
以前のOpen Terminalは、Linuxシェルしか使えなかったけど、今のOpen Terminalは、ブラウザとデスクトップが使える。
利用方法
まず、ブラウザやデスクトップタブを開いておく。
ブラウザ
思ったよりもコンテキストサイズが小さくてもいいかも。それでも64Kは欲しい。
ブラウザタブを使ってURLにアクセスしてと入れればいい。
ログインが必要なケースもちゃんとログインをしてくれるし、クレデンシャルを渡したくなければ、ブラウザを開いてもらい、人間が実際にログインをして、その後の操作を渡すなんていうこともできる。これで、自分がやりたかった対話型のブラウザ操作には、Playwright を別途組み込む必要がなくなった。ただし、自動テストや大量処理では Playwright にも利点がある。
デスクトップ
ブラウザよりもコンテキストサイズを多く使う感じ。
これがなかなか難儀で、まず、アイコンで指定するとなかなかちゃんと認識してくれず、ポンコツっぷりをアピールする。間違えて何かを起動して慌ててるシーンが見れたりする。
もう、Accessaryメニューにある、XXXを起動して、XXXしてくださいと丁寧に指示する。
使ってみた印象は、クレデンシャルを入れたら入力してくれたり（これはまずい。）するので、ガードレールが弱いかもしれない。Qwenだから弱いのかもしれないが。
あと、モデルは大きめのやつじゃないとうまく動かないかもしれない。（経験上。モデルをあげたらあっさり動いたことがあったので）
やはり、こういう使い方をすると、大容量メモリのデスクトップが欲しくなるかもしれない。
実は、Open WebUI Desktopも最新版が出た。Open WebUI Desktopに含まれていたTerminalは最新版で削除された。つまりOpen WebUI Desktopでこれをやる場合は、Open Terminalを自分で用意する必要がある。
Open WebUI Desktopは、簡単に使えるので愛用していたのだが、複数のOpen WebUIサーバに接続できなくなったり（別モジュールが出るらしい）、リモート系が全部削除されたり。結構変更があって大変。そのネタは、別に書くとしよう。
連休返してw