Skip to content
frontmatter
キー値
specdojo.idprj-0001:pjr-htap-local-llm-executor-trial
specdojo.typeproject
specdojo.statusdraft
specdojo.rulebookspecdojo:pjr-rulebook
specdojo.part_ofprj-0001:pjr-index
specdojo.item_typenote
specdojo.item_statusopen
specdojo.prioritymedium
specdojo.ownerDEV
specdojo.registered_at2026-10-18T06:26:31Z

PJR-HTAP ローカル LLM の executor の試行の結果(WJE6、2026-10-18) ​

1. メモ ​

同じ todo(WJE6、ガイドへの節の追加)を、Ollama の gemma26(64k・128k)・gemma4 31B(thinking off・on)・qwen3.8 27B(thinking off・on)と agy で exec trial にかけた。gemma26 はツールの失敗から立て直せず止まり、thinking を on にすると遅くなるだけで中身は良くならなかった

2. 背景・文脈 ​

PJR-Y8P9 で agent の定義を見直した後も、opencode で使うローカル LLM(Ollama・oMLX)の整理が残っていた。どのモデルをどの役割に使えるかを決める根拠として、同じ todo を exec trial で比べた(PJR-VQB5 は grade での比較)。

比べた todo は PJR-WJE6(ブランチ運用ガイドにプロダクトリポジトリの節を足す)である。reporter はすべて gemma26-reporter とした。最初の試行の plan は登録簿の一覧(約 479KB)を読ませていたため、2 回目以降は一覧の行を消した plan(tmp/trial/pjr-wje6-trial-plan-noindex.md)を使った。

comparisonagentモデル・thinking結果executor の時間中身
wje6-local-llmgemma26-executorgemma4 26B MoE(64k)・off変更なし約 8 分一覧を分けて読むうちに止まった
wje6-local-llmqwen-executorqwen3.8 27B・off完走約 34 分正確。本文に登録簿の ID が入った
wje6-local-llmagy-expert-executorクラウド完走約 4 分詳しいが冗長。章を番号で参照した
wje6-gemma26-noindexgemma26-executorgemma4 26B MoE(64k)・off変更なし約 45 秒パスを推測して読み込みに失敗し、止まった
wje6-gemma26-noindexgemma26-128k-executorgemma4 26B MoE(128k)・off変更なし約 50 秒同上。文脈の大きさは関係しなかった
wje6-gemma31gemma-expert-executorgemma4 31B・on完走約 10 分失敗から glob で立て直した。薄く、個票を更新しない
wje6-gemma31gemma-executorgemma4 31B・off完走約 5 分構成は正確で個票も更新。設定ファイル名と rebase merge の SHA を誤り、決定にない「推奨」を書いた
wje6-qwen-thinkqwen-executorqwen3.8 27B・off完走約 11 分最も正確で厚い。日本語の崩れ、章の番号の参照、配布するガイドからの登録簿の参照が残った
wje6-qwen-thinkqwen-expert-executorqwen3.8 27B・on完走約 50 分正確で厚いが、章を差し込んで後ろの番号をすべて付け直した

参照時の注意:

  • 親の検証は完走したものすべてで通った。中身の評価は orchestrator が完了条件と突き合わせたものである。
  • 最初の qwen-executor の 34 分は、一覧を読ませる plan と、他の試行とのモデルの入れ替えを含む。同じ条件では約 11 分だった。
  • gemma26 は、続きを促すと作業を進めたが、章の構成を壊し、事実を誤った。
  • Ollama は reasoning_effort: none を守る(直接の呼び出しで thinking の出力が 0 になることを確かめた)。
  • opencode の bash の許可は、パイプや || でつないだコマンドに当たらず、拒否される。

3. フォローアップ ​

  • ローカル LLM の整理の方針は PJR-0ZAS で決める。
  • plan が一覧を読ませる不具合は PJR-SJ0G で直す。
  • plan の wikilink に実際のパスを添えると、弱いモデルがパスを推測して失敗するのを防げる。必要になったら起票する。

4. 関連ドキュメント ​