Merge pull request 'feat: Erweitere Skill-Beschreibungen mit präziseren Nutzungsrichtlinien' (#7) from feat/skills-documentation-updates into main
This commit was merged in pull request #7.
This commit is contained in:
@@ -43,7 +43,8 @@
|
||||
"frontend-design@claude-plugins-official": true,
|
||||
"context7@claude-plugins-official": true,
|
||||
"code-review@claude-plugins-official": true,
|
||||
"code-simplifier@claude-plugins-official": true
|
||||
"code-simplifier@claude-plugins-official": true,
|
||||
"skill-creator@claude-plugins-official": true
|
||||
},
|
||||
"language": "German"
|
||||
}
|
||||
|
||||
@@ -0,0 +1,86 @@
|
||||
[
|
||||
{
|
||||
"query": "ich bin fertig mit der implementierung, kannst du die tests laufen lassen und einen PR erstellen?",
|
||||
"should_trigger": true
|
||||
},
|
||||
{
|
||||
"query": "alles fertig implementiert, bitte testen und PR in Gitea anlegen",
|
||||
"should_trigger": true
|
||||
},
|
||||
{
|
||||
"query": "die Änderungen sind durch, jetzt Tests + PR bitte",
|
||||
"should_trigger": true
|
||||
},
|
||||
{
|
||||
"query": "ich hab die auth-middleware fertig gebaut, magst du das jetzt testen und einen PR anlegen bei gitea.troeger-net.org/martin/myproject?",
|
||||
"should_trigger": true
|
||||
},
|
||||
{
|
||||
"query": "ok der refactor ist durch, kannst du die test suite laufen lassen und wenn alles grün ist nen PR erstellen?",
|
||||
"should_trigger": true
|
||||
},
|
||||
{
|
||||
"query": "feature ist fertig, jetzt bitte test-runner + code vereinfachen + PR",
|
||||
"should_trigger": true
|
||||
},
|
||||
{
|
||||
"query": "implementation done, /go bitte",
|
||||
"should_trigger": true
|
||||
},
|
||||
{
|
||||
"query": "hab den crud-endpoint für /api/orders fertig, kannst du jetzt testen und als PR einreichen?",
|
||||
"should_trigger": true
|
||||
},
|
||||
{
|
||||
"query": "kannst du mir erklären wie ich manuell einen PR anlege?",
|
||||
"should_trigger": false
|
||||
},
|
||||
{
|
||||
"query": "bitte nur die tests laufen lassen, ich will noch nicht committen",
|
||||
"should_trigger": false
|
||||
},
|
||||
{
|
||||
"query": "bitte committen und pushen",
|
||||
"should_trigger": false
|
||||
},
|
||||
{
|
||||
"query": "erstell mir einen PR für diesen branch, tests sind schon grün",
|
||||
"should_trigger": false
|
||||
},
|
||||
{
|
||||
"query": "kannst du den code reviewen und vereinfachen ohne PR?",
|
||||
"should_trigger": false
|
||||
},
|
||||
{
|
||||
"query": "ship it bitte",
|
||||
"should_trigger": false
|
||||
},
|
||||
{
|
||||
"query": "was ist der status der aktuellen tests?",
|
||||
"should_trigger": false
|
||||
},
|
||||
{
|
||||
"query": "ich möchte eine neue story starten für das login-feature",
|
||||
"should_trigger": false
|
||||
},
|
||||
{
|
||||
"query": "bitte führe nur den security-audit durch",
|
||||
"should_trigger": false
|
||||
},
|
||||
{
|
||||
"query": "kannst du die fehlgeschlagenen tests in test_user_service.py debuggen?",
|
||||
"should_trigger": false
|
||||
},
|
||||
{
|
||||
"query": "rebase bitte meinen branch auf main",
|
||||
"should_trigger": false
|
||||
},
|
||||
{
|
||||
"query": "bitte nur den simplify-skill aufrufen, keinen PR",
|
||||
"should_trigger": false
|
||||
},
|
||||
{
|
||||
"query": "/go",
|
||||
"should_trigger": true
|
||||
}
|
||||
]
|
||||
@@ -0,0 +1,22 @@
|
||||
[
|
||||
{"query": "ich bin fertig mit der implementierung, kannst du die tests laufen lassen und einen PR erstellen?", "should_trigger": true},
|
||||
{"query": "alles fertig implementiert, bitte testen und PR in Gitea anlegen", "should_trigger": true},
|
||||
{"query": "die Änderungen sind durch, jetzt Tests + PR bitte", "should_trigger": true},
|
||||
{"query": "ich hab die auth-middleware fertig gebaut, magst du das jetzt testen und einen PR anlegen bei gitea.troeger-net.org/martin/myproject?", "should_trigger": true},
|
||||
{"query": "ok der refactor ist durch, kannst du die test suite laufen lassen und wenn alles grün ist nen PR erstellen?", "should_trigger": true},
|
||||
{"query": "feature ist fertig, jetzt bitte test-runner + code vereinfachen + PR", "should_trigger": true},
|
||||
{"query": "implementation done, /go bitte", "should_trigger": true},
|
||||
{"query": "hab den crud-endpoint für /api/orders fertig, kannst du jetzt testen und als PR einreichen?", "should_trigger": true},
|
||||
{"query": "kannst du mir erklären wie ich manuell einen PR anlege?", "should_trigger": false},
|
||||
{"query": "bitte nur die tests laufen lassen, ich will noch nicht committen", "should_trigger": false},
|
||||
{"query": "bitte committen und pushen", "should_trigger": false},
|
||||
{"query": "erstell mir einen PR für diesen branch, tests sind schon grün", "should_trigger": false},
|
||||
{"query": "kannst du den code reviewen und vereinfachen ohne PR?", "should_trigger": false},
|
||||
{"query": "ship it bitte", "should_trigger": false},
|
||||
{"query": "was ist der status der aktuellen tests?", "should_trigger": false},
|
||||
{"query": "ich möchte eine neue story starten für das login-feature", "should_trigger": false},
|
||||
{"query": "bitte führe nur den security-audit durch", "should_trigger": false},
|
||||
{"query": "kannst du die fehlgeschlagenen tests in test_user_service.py debuggen?", "should_trigger": false},
|
||||
{"query": "rebase bitte meinen branch auf main", "should_trigger": false},
|
||||
{"query": "bitte nur den simplify-skill aufrufen, keinen PR", "should_trigger": false}
|
||||
]
|
||||
@@ -0,0 +1,82 @@
|
||||
Split: 14 train, 7 test (holdout=0.4)
|
||||
|
||||
============================================================
|
||||
Iteration 1/5
|
||||
Description: Führt nach einer Implementierung Tests aus, vereinfacht den Code und erstellt einen PR in Gitea. Aktivieren wenn eine Feature-Implementierung abgeschlossen ist und ein PR erstellt werden soll.
|
||||
============================================================
|
||||
Train: 24/42 correct, precision=100% recall=0% accuracy=57% (51.8s)
|
||||
[FAIL] rate=0/3 expected=True: ok der refactor ist durch, kannst du die test suite laufen l
|
||||
[FAIL] rate=0/3 expected=True: die Änderungen sind durch, jetzt Tests + PR bitte
|
||||
[FAIL] rate=0/3 expected=True: feature ist fertig, jetzt bitte test-runner + code vereinfac
|
||||
[FAIL] rate=0/3 expected=True: /go
|
||||
[FAIL] rate=0/3 expected=True: alles fertig implementiert, bitte testen und PR in Gitea anl
|
||||
[FAIL] rate=0/3 expected=True: ich bin fertig mit der implementierung, kannst du die tests
|
||||
[PASS] rate=0/3 expected=False: kannst du die fehlgeschlagenen tests in test_user_service.py
|
||||
[PASS] rate=0/3 expected=False: bitte nur den simplify-skill aufrufen, keinen PR
|
||||
[PASS] rate=0/3 expected=False: ich möchte eine neue story starten für das login-feature
|
||||
[PASS] rate=0/3 expected=False: kannst du mir erklären wie ich manuell einen PR anlege?
|
||||
[PASS] rate=0/3 expected=False: was ist der status der aktuellen tests?
|
||||
[PASS] rate=0/3 expected=False: bitte nur die tests laufen lassen, ich will noch nicht commi
|
||||
[PASS] rate=0/3 expected=False: bitte führe nur den security-audit durch
|
||||
[PASS] rate=0/3 expected=False: rebase bitte meinen branch auf main
|
||||
Test : 12/21 correct, precision=100% recall=0% accuracy=57% (0.0s)
|
||||
[FAIL] rate=0/3 expected=True: ich hab die auth-middleware fertig gebaut, magst du das jetz
|
||||
[FAIL] rate=0/3 expected=True: implementation done, /go bitte
|
||||
[FAIL] rate=0/3 expected=True: hab den crud-endpoint für /api/orders fertig, kannst du jetz
|
||||
[PASS] rate=0/3 expected=False: erstell mir einen PR für diesen branch, tests sind schon grü
|
||||
[PASS] rate=0/3 expected=False: ship it bitte
|
||||
[PASS] rate=0/3 expected=False: bitte committen und pushen
|
||||
[PASS] rate=0/3 expected=False: kannst du den code reviewen und vereinfachen ohne PR?
|
||||
|
||||
Improving description...
|
||||
Traceback (most recent call last):
|
||||
File "<frozen runpy>", line 198, in _run_module_as_main
|
||||
File "<frozen runpy>", line 88, in _run_code
|
||||
File "/home/martin/.claude/plugins/cache/claude-plugins-official/skill-creator/unknown/skills/skill-creator/scripts/run_loop.py", line 332, in <module>
|
||||
main()
|
||||
~~~~^^
|
||||
File "/home/martin/.claude/plugins/cache/claude-plugins-official/skill-creator/unknown/skills/skill-creator/scripts/run_loop.py", line 297, in main
|
||||
output = run_loop(
|
||||
eval_set=eval_set,
|
||||
...<11 lines>...
|
||||
log_dir=log_dir,
|
||||
)
|
||||
File "/home/martin/.claude/plugins/cache/claude-plugins-official/skill-creator/unknown/skills/skill-creator/scripts/run_loop.py", line 202, in run_loop
|
||||
new_description = improve_description(
|
||||
client=client,
|
||||
...<7 lines>...
|
||||
iteration=iteration,
|
||||
)
|
||||
File "/home/martin/.claude/plugins/cache/claude-plugins-official/skill-creator/unknown/skills/skill-creator/scripts/improve_description.py", line 114, in improve_description
|
||||
response = client.messages.create(
|
||||
model=model,
|
||||
...<5 lines>...
|
||||
messages=[{"role": "user", "content": prompt}],
|
||||
)
|
||||
File "/home/martin/.local/lib/python3.13/site-packages/anthropic/_utils/_utils.py", line 283, in wrapper
|
||||
return func(*args, **kwargs)
|
||||
File "/home/martin/.local/lib/python3.13/site-packages/anthropic/resources/messages/messages.py", line 1000, in create
|
||||
return self._post(
|
||||
~~~~~~~~~~^
|
||||
"/v1/messages",
|
||||
^^^^^^^^^^^^^^^
|
||||
...<30 lines>...
|
||||
stream_cls=Stream[RawMessageStreamEvent],
|
||||
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
|
||||
)
|
||||
^
|
||||
File "/home/martin/.local/lib/python3.13/site-packages/anthropic/_base_client.py", line 1368, in post
|
||||
return cast(ResponseT, self.request(cast_to, opts, stream=stream, stream_cls=stream_cls))
|
||||
~~~~~~~~~~~~^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
|
||||
File "/home/martin/.local/lib/python3.13/site-packages/anthropic/_base_client.py", line 1062, in request
|
||||
request = self._build_request(options, retries_taken=retries_taken)
|
||||
File "/home/martin/.local/lib/python3.13/site-packages/anthropic/_base_client.py", line 521, in _build_request
|
||||
headers = self._build_headers(options, retries_taken=retries_taken)
|
||||
File "/home/martin/.local/lib/python3.13/site-packages/anthropic/_base_client.py", line 451, in _build_headers
|
||||
self._validate_headers(headers_dict, custom_headers)
|
||||
~~~~~~~~~~~~~~~~~~~~~~^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
|
||||
File "/home/martin/.local/lib/python3.13/site-packages/anthropic/_client.py", line 196, in _validate_headers
|
||||
raise TypeError(
|
||||
'"Could not resolve authentication method. Expected either api_key or auth_token to be set. Or for one of the `X-Api-Key` or `Authorization` headers to be explicitly omitted"'
|
||||
)
|
||||
TypeError: "Could not resolve authentication method. Expected either api_key or auth_token to be set. Or for one of the `X-Api-Key` or `Authorization` headers to be explicitly omitted"
|
||||
@@ -0,0 +1,82 @@
|
||||
[
|
||||
{
|
||||
"query": "bitte reviewe meinen plan bevor ich anfange zu implementieren",
|
||||
"should_trigger": true
|
||||
},
|
||||
{
|
||||
"query": "ich hab den plan fertig, kann ein unabhängiger agent drüber schauen?",
|
||||
"should_trigger": true
|
||||
},
|
||||
{
|
||||
"query": "plan review bitte",
|
||||
"should_trigger": true
|
||||
},
|
||||
{
|
||||
"query": "prüfe ob der plan vollständig ist — akzeptanzkriterien, tests, migrations",
|
||||
"should_trigger": true
|
||||
},
|
||||
{
|
||||
"query": "der plan steht, bitte einen zweiten blick drauf werfen auf risiken und fehlende tests",
|
||||
"should_trigger": true
|
||||
},
|
||||
{
|
||||
"query": "kannst du mit opus meinen plan prüfen lassen? ich bin nicht sicher ob die alembic-migrationen alle eingeplant sind",
|
||||
"should_trigger": true
|
||||
},
|
||||
{
|
||||
"query": "/plan-review",
|
||||
"should_trigger": true
|
||||
},
|
||||
{
|
||||
"query": "ich will sicher gehen dass mein implementierungsplan alle akzeptanzkriterien abdeckt bevor wir loslegen",
|
||||
"should_trigger": true
|
||||
},
|
||||
{
|
||||
"query": "erkläre mir wie ich einen guten implementierungsplan schreibe",
|
||||
"should_trigger": false
|
||||
},
|
||||
{
|
||||
"query": "reviewe den code in auth_service.py auf security-probleme",
|
||||
"should_trigger": false
|
||||
},
|
||||
{
|
||||
"query": "was ist der aktuelle status des projekts?",
|
||||
"should_trigger": false
|
||||
},
|
||||
{
|
||||
"query": "schreib mir einen implementierungsplan für das login-feature",
|
||||
"should_trigger": false
|
||||
},
|
||||
{
|
||||
"query": "kannst du die PR-beschreibung reviewen?",
|
||||
"should_trigger": false
|
||||
},
|
||||
{
|
||||
"query": "ich möchte den workflow reviewen auf best practices",
|
||||
"should_trigger": false
|
||||
},
|
||||
{
|
||||
"query": "bitte die testabdeckung prüfen",
|
||||
"should_trigger": false
|
||||
},
|
||||
{
|
||||
"query": "ist mein datenbankschema für user und teams gut designed?",
|
||||
"should_trigger": false
|
||||
},
|
||||
{
|
||||
"query": "security audit für die aktuellen änderungen bitte",
|
||||
"should_trigger": false
|
||||
},
|
||||
{
|
||||
"query": "reviewe die PR #23",
|
||||
"should_trigger": false
|
||||
},
|
||||
{
|
||||
"query": "checke ob meine FastAPI-endpoints die richtigen HTTP-statuscodes zurückgeben",
|
||||
"should_trigger": false
|
||||
},
|
||||
{
|
||||
"query": "kannst du den plan weiterentwickeln? ich glaube phase 3 fehlt noch",
|
||||
"should_trigger": false
|
||||
}
|
||||
]
|
||||
@@ -0,0 +1,22 @@
|
||||
[
|
||||
{"query": "bitte reviewe meinen plan bevor ich anfange zu implementieren", "should_trigger": true},
|
||||
{"query": "ich hab den plan fertig, kann ein unabhängiger agent drüber schauen?", "should_trigger": true},
|
||||
{"query": "plan review bitte", "should_trigger": true},
|
||||
{"query": "prüfe ob der plan vollständig ist — akzeptanzkriterien, tests, migrations", "should_trigger": true},
|
||||
{"query": "der plan steht, bitte einen zweiten blick drauf werfen auf risiken und fehlende tests", "should_trigger": true},
|
||||
{"query": "kannst du mit opus meinen plan prüfen lassen? ich bin nicht sicher ob die alembic-migrationen alle eingeplant sind", "should_trigger": true},
|
||||
{"query": "/plan-review", "should_trigger": true},
|
||||
{"query": "ich will sicher gehen dass mein implementierungsplan alle akzeptanzkriterien abdeckt bevor wir loslegen", "should_trigger": true},
|
||||
{"query": "erkläre mir wie ich einen guten implementierungsplan schreibe", "should_trigger": false},
|
||||
{"query": "reviewe den code in auth_service.py auf security-probleme", "should_trigger": false},
|
||||
{"query": "was ist der aktuelle status des projekts?", "should_trigger": false},
|
||||
{"query": "schreib mir einen implementierungsplan für das login-feature", "should_trigger": false},
|
||||
{"query": "kannst du die PR-beschreibung reviewen?", "should_trigger": false},
|
||||
{"query": "ich möchte den workflow reviewen auf best practices", "should_trigger": false},
|
||||
{"query": "bitte die testabdeckung prüfen", "should_trigger": false},
|
||||
{"query": "ist mein datenbankschema für user und teams gut designed?", "should_trigger": false},
|
||||
{"query": "security audit für die aktuellen änderungen bitte", "should_trigger": false},
|
||||
{"query": "reviewe die PR #23", "should_trigger": false},
|
||||
{"query": "checke ob meine FastAPI-endpoints die richtigen HTTP-statuscodes zurückgeben", "should_trigger": false},
|
||||
{"query": "kannst du den plan weiterentwickeln? ich glaube phase 3 fehlt noch", "should_trigger": false}
|
||||
]
|
||||
@@ -0,0 +1,81 @@
|
||||
Split: 13 train, 7 test (holdout=0.4)
|
||||
|
||||
============================================================
|
||||
Iteration 1/5
|
||||
Description: Startet einen unabhängigen Opus-Agenten der den aktuellen Plan auf Vollständigkeit, Risiken und fehlende Tests prüft. Aktivieren nach der Planungsphase, bevor die Implementierung beginnt.
|
||||
============================================================
|
||||
Train: 24/39 correct, precision=100% recall=0% accuracy=62% (49.9s)
|
||||
[FAIL] rate=0/3 expected=True: kannst du mit opus meinen plan prüfen lassen? ich bin nicht
|
||||
[FAIL] rate=0/3 expected=True: ich will sicher gehen dass mein implementierungsplan alle ak
|
||||
[FAIL] rate=0/3 expected=True: plan review bitte
|
||||
[FAIL] rate=0/3 expected=True: bitte reviewe meinen plan bevor ich anfange zu implementiere
|
||||
[FAIL] rate=0/3 expected=True: ich hab den plan fertig, kann ein unabhängiger agent drüber
|
||||
[PASS] rate=0/3 expected=False: ich möchte den workflow reviewen auf best practices
|
||||
[PASS] rate=0/3 expected=False: ist mein datenbankschema für user und teams gut designed?
|
||||
[PASS] rate=0/3 expected=False: bitte die testabdeckung prüfen
|
||||
[PASS] rate=0/3 expected=False: erkläre mir wie ich einen guten implementierungsplan schreib
|
||||
[PASS] rate=0/3 expected=False: checke ob meine FastAPI-endpoints die richtigen HTTP-statusc
|
||||
[PASS] rate=0/3 expected=False: security audit für die aktuellen änderungen bitte
|
||||
[PASS] rate=0/3 expected=False: reviewe den code in auth_service.py auf security-probleme
|
||||
[PASS] rate=0/3 expected=False: kannst du den plan weiterentwickeln? ich glaube phase 3 fehl
|
||||
Test : 12/21 correct, precision=100% recall=0% accuracy=57% (0.0s)
|
||||
[FAIL] rate=0/3 expected=True: prüfe ob der plan vollständig ist — akzeptanzkriterien, test
|
||||
[FAIL] rate=0/3 expected=True: der plan steht, bitte einen zweiten blick drauf werfen auf r
|
||||
[FAIL] rate=0/3 expected=True: /plan-review
|
||||
[PASS] rate=0/3 expected=False: schreib mir einen implementierungsplan für das login-feature
|
||||
[PASS] rate=0/3 expected=False: was ist der aktuelle status des projekts?
|
||||
[PASS] rate=0/3 expected=False: kannst du die PR-beschreibung reviewen?
|
||||
[PASS] rate=0/3 expected=False: reviewe die PR #23
|
||||
|
||||
Improving description...
|
||||
Traceback (most recent call last):
|
||||
File "<frozen runpy>", line 198, in _run_module_as_main
|
||||
File "<frozen runpy>", line 88, in _run_code
|
||||
File "/home/martin/.claude/plugins/cache/claude-plugins-official/skill-creator/unknown/skills/skill-creator/scripts/run_loop.py", line 332, in <module>
|
||||
main()
|
||||
~~~~^^
|
||||
File "/home/martin/.claude/plugins/cache/claude-plugins-official/skill-creator/unknown/skills/skill-creator/scripts/run_loop.py", line 297, in main
|
||||
output = run_loop(
|
||||
eval_set=eval_set,
|
||||
...<11 lines>...
|
||||
log_dir=log_dir,
|
||||
)
|
||||
File "/home/martin/.claude/plugins/cache/claude-plugins-official/skill-creator/unknown/skills/skill-creator/scripts/run_loop.py", line 202, in run_loop
|
||||
new_description = improve_description(
|
||||
client=client,
|
||||
...<7 lines>...
|
||||
iteration=iteration,
|
||||
)
|
||||
File "/home/martin/.claude/plugins/cache/claude-plugins-official/skill-creator/unknown/skills/skill-creator/scripts/improve_description.py", line 114, in improve_description
|
||||
response = client.messages.create(
|
||||
model=model,
|
||||
...<5 lines>...
|
||||
messages=[{"role": "user", "content": prompt}],
|
||||
)
|
||||
File "/home/martin/.local/lib/python3.13/site-packages/anthropic/_utils/_utils.py", line 283, in wrapper
|
||||
return func(*args, **kwargs)
|
||||
File "/home/martin/.local/lib/python3.13/site-packages/anthropic/resources/messages/messages.py", line 1000, in create
|
||||
return self._post(
|
||||
~~~~~~~~~~^
|
||||
"/v1/messages",
|
||||
^^^^^^^^^^^^^^^
|
||||
...<30 lines>...
|
||||
stream_cls=Stream[RawMessageStreamEvent],
|
||||
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
|
||||
)
|
||||
^
|
||||
File "/home/martin/.local/lib/python3.13/site-packages/anthropic/_base_client.py", line 1368, in post
|
||||
return cast(ResponseT, self.request(cast_to, opts, stream=stream, stream_cls=stream_cls))
|
||||
~~~~~~~~~~~~^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
|
||||
File "/home/martin/.local/lib/python3.13/site-packages/anthropic/_base_client.py", line 1062, in request
|
||||
request = self._build_request(options, retries_taken=retries_taken)
|
||||
File "/home/martin/.local/lib/python3.13/site-packages/anthropic/_base_client.py", line 521, in _build_request
|
||||
headers = self._build_headers(options, retries_taken=retries_taken)
|
||||
File "/home/martin/.local/lib/python3.13/site-packages/anthropic/_base_client.py", line 451, in _build_headers
|
||||
self._validate_headers(headers_dict, custom_headers)
|
||||
~~~~~~~~~~~~~~~~~~~~~~^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
|
||||
File "/home/martin/.local/lib/python3.13/site-packages/anthropic/_client.py", line 196, in _validate_headers
|
||||
raise TypeError(
|
||||
'"Could not resolve authentication method. Expected either api_key or auth_token to be set. Or for one of the `X-Api-Key` or `Authorization` headers to be explicitly omitted"'
|
||||
)
|
||||
TypeError: "Could not resolve authentication method. Expected either api_key or auth_token to be set. Or for one of the `X-Api-Key` or `Authorization` headers to be explicitly omitted"
|
||||
@@ -0,0 +1,86 @@
|
||||
[
|
||||
{
|
||||
"query": "feature ist fertig, bitte committen, pushen und mergen",
|
||||
"should_trigger": true
|
||||
},
|
||||
{
|
||||
"query": "alles fertig, bitte den branch jetzt mergen und aufräumen",
|
||||
"should_trigger": true
|
||||
},
|
||||
{
|
||||
"query": "ich bin zufrieden mit den änderungen, bitte jetzt shippen",
|
||||
"should_trigger": true
|
||||
},
|
||||
{
|
||||
"query": "kannst du die änderungen committen, einen PR erstellen und gleich mergen?",
|
||||
"should_trigger": true
|
||||
},
|
||||
{
|
||||
"query": "die story ist abgeschlossen, branch in main mergen bitte",
|
||||
"should_trigger": true
|
||||
},
|
||||
{
|
||||
"query": "wir sind durch, bitte alles aufräumen und in main bringen",
|
||||
"should_trigger": true
|
||||
},
|
||||
{
|
||||
"query": "/ship bitte",
|
||||
"should_trigger": true
|
||||
},
|
||||
{
|
||||
"query": "ok ich hab noch fix/login-redirect offen auf dem branch, der ist fertig — kannst du commiten, PR anlegen, mergen und den branch löschen?",
|
||||
"should_trigger": true
|
||||
},
|
||||
{
|
||||
"query": "erstelle nur einen PR, ich will selbst reviewen bevor ich merge",
|
||||
"should_trigger": false
|
||||
},
|
||||
{
|
||||
"query": "bitte nur committen, noch nicht pushen",
|
||||
"should_trigger": false
|
||||
},
|
||||
{
|
||||
"query": "kannst du die änderungen pushen?",
|
||||
"should_trigger": false
|
||||
},
|
||||
{
|
||||
"query": "tests laufen lassen und PR erstellen",
|
||||
"should_trigger": false
|
||||
},
|
||||
{
|
||||
"query": "ich will den branch noch offen halten für weitere änderungen",
|
||||
"should_trigger": false
|
||||
},
|
||||
{
|
||||
"query": "merge bitte nur wenn die CI grün ist — ich check das nochmal selbst",
|
||||
"should_trigger": false
|
||||
},
|
||||
{
|
||||
"query": "was müssen wir noch machen bevor wir mergen können?",
|
||||
"should_trigger": false
|
||||
},
|
||||
{
|
||||
"query": "kannst du den alten branch feat/old-feature löschen?",
|
||||
"should_trigger": false
|
||||
},
|
||||
{
|
||||
"query": "bitte nur git push, kein PR",
|
||||
"should_trigger": false
|
||||
},
|
||||
{
|
||||
"query": "die PR-beschreibung stimmt nicht, kannst du sie anpassen?",
|
||||
"should_trigger": false
|
||||
},
|
||||
{
|
||||
"query": "führe den plan-review durch bevor wir weitermachen",
|
||||
"should_trigger": false
|
||||
},
|
||||
{
|
||||
"query": "workflow review bitte",
|
||||
"should_trigger": false
|
||||
},
|
||||
{
|
||||
"query": "/ship",
|
||||
"should_trigger": true
|
||||
}
|
||||
]
|
||||
@@ -0,0 +1,22 @@
|
||||
[
|
||||
{"query": "feature ist fertig, bitte committen, pushen und mergen", "should_trigger": true},
|
||||
{"query": "alles fertig, bitte den branch jetzt mergen und aufräumen", "should_trigger": true},
|
||||
{"query": "ich bin zufrieden mit den änderungen, bitte jetzt shippen", "should_trigger": true},
|
||||
{"query": "kannst du die änderungen committen, einen PR erstellen und gleich mergen?", "should_trigger": true},
|
||||
{"query": "die story ist abgeschlossen, branch in main mergen bitte", "should_trigger": true},
|
||||
{"query": "wir sind durch, bitte alles aufräumen und in main bringen", "should_trigger": true},
|
||||
{"query": "/ship bitte", "should_trigger": true},
|
||||
{"query": "ok ich hab noch fix/login-redirect offen auf dem branch, der ist fertig — kannst du commiten, PR anlegen, mergen und den branch löschen?", "should_trigger": true},
|
||||
{"query": "erstelle nur einen PR, ich will selbst reviewen bevor ich merge", "should_trigger": false},
|
||||
{"query": "bitte nur committen, noch nicht pushen", "should_trigger": false},
|
||||
{"query": "kannst du die änderungen pushen?", "should_trigger": false},
|
||||
{"query": "tests laufen lassen und PR erstellen", "should_trigger": false},
|
||||
{"query": "ich will den branch noch offen halten für weitere änderungen", "should_trigger": false},
|
||||
{"query": "merge bitte nur wenn die CI grün ist — ich check das nochmal selbst", "should_trigger": false},
|
||||
{"query": "was müssen wir noch machen bevor wir mergen können?", "should_trigger": false},
|
||||
{"query": "kannst du den alten branch feat/old-feature löschen?", "should_trigger": false},
|
||||
{"query": "bitte nur git push, kein PR", "should_trigger": false},
|
||||
{"query": "die PR-beschreibung stimmt nicht, kannst du sie anpassen?", "should_trigger": false},
|
||||
{"query": "führe den plan-review durch bevor wir weitermachen", "should_trigger": false},
|
||||
{"query": "workflow review bitte", "should_trigger": false}
|
||||
]
|
||||
@@ -0,0 +1,82 @@
|
||||
Split: 14 train, 7 test (holdout=0.4)
|
||||
|
||||
============================================================
|
||||
Iteration 1/5
|
||||
Description: Finales Commit → Push → PR erstellen → Mergen → Aufräumen. Explizit vom User aufzurufen wenn ein Feature abgeschlossen ist.
|
||||
============================================================
|
||||
Train: 24/42 correct, precision=100% recall=0% accuracy=57% (51.1s)
|
||||
[FAIL] rate=0/3 expected=True: die story ist abgeschlossen, branch in main mergen bitte
|
||||
[FAIL] rate=0/3 expected=True: ich bin zufrieden mit den änderungen, bitte jetzt shippen
|
||||
[FAIL] rate=0/3 expected=True: wir sind durch, bitte alles aufräumen und in main bringen
|
||||
[FAIL] rate=0/3 expected=True: /ship
|
||||
[FAIL] rate=0/3 expected=True: feature ist fertig, bitte committen, pushen und mergen
|
||||
[FAIL] rate=0/3 expected=True: alles fertig, bitte den branch jetzt mergen und aufräumen
|
||||
[PASS] rate=0/3 expected=False: die PR-beschreibung stimmt nicht, kannst du sie anpassen?
|
||||
[PASS] rate=0/3 expected=False: workflow review bitte
|
||||
[PASS] rate=0/3 expected=False: erstelle nur einen PR, ich will selbst reviewen bevor ich me
|
||||
[PASS] rate=0/3 expected=False: kannst du den alten branch feat/old-feature löschen?
|
||||
[PASS] rate=0/3 expected=False: was müssen wir noch machen bevor wir mergen können?
|
||||
[PASS] rate=0/3 expected=False: bitte nur committen, noch nicht pushen
|
||||
[PASS] rate=0/3 expected=False: bitte nur git push, kein PR
|
||||
[PASS] rate=0/3 expected=False: führe den plan-review durch bevor wir weitermachen
|
||||
Test : 12/21 correct, precision=100% recall=0% accuracy=57% (0.0s)
|
||||
[FAIL] rate=0/3 expected=True: kannst du die änderungen committen, einen PR erstellen und g
|
||||
[FAIL] rate=0/3 expected=True: /ship bitte
|
||||
[FAIL] rate=0/3 expected=True: ok ich hab noch fix/login-redirect offen auf dem branch, der
|
||||
[PASS] rate=0/3 expected=False: tests laufen lassen und PR erstellen
|
||||
[PASS] rate=0/3 expected=False: merge bitte nur wenn die CI grün ist — ich check das nochmal
|
||||
[PASS] rate=0/3 expected=False: kannst du die änderungen pushen?
|
||||
[PASS] rate=0/3 expected=False: ich will den branch noch offen halten für weitere änderungen
|
||||
|
||||
Improving description...
|
||||
Traceback (most recent call last):
|
||||
File "<frozen runpy>", line 198, in _run_module_as_main
|
||||
File "<frozen runpy>", line 88, in _run_code
|
||||
File "/home/martin/.claude/plugins/cache/claude-plugins-official/skill-creator/unknown/skills/skill-creator/scripts/run_loop.py", line 332, in <module>
|
||||
main()
|
||||
~~~~^^
|
||||
File "/home/martin/.claude/plugins/cache/claude-plugins-official/skill-creator/unknown/skills/skill-creator/scripts/run_loop.py", line 297, in main
|
||||
output = run_loop(
|
||||
eval_set=eval_set,
|
||||
...<11 lines>...
|
||||
log_dir=log_dir,
|
||||
)
|
||||
File "/home/martin/.claude/plugins/cache/claude-plugins-official/skill-creator/unknown/skills/skill-creator/scripts/run_loop.py", line 202, in run_loop
|
||||
new_description = improve_description(
|
||||
client=client,
|
||||
...<7 lines>...
|
||||
iteration=iteration,
|
||||
)
|
||||
File "/home/martin/.claude/plugins/cache/claude-plugins-official/skill-creator/unknown/skills/skill-creator/scripts/improve_description.py", line 114, in improve_description
|
||||
response = client.messages.create(
|
||||
model=model,
|
||||
...<5 lines>...
|
||||
messages=[{"role": "user", "content": prompt}],
|
||||
)
|
||||
File "/home/martin/.local/lib/python3.13/site-packages/anthropic/_utils/_utils.py", line 283, in wrapper
|
||||
return func(*args, **kwargs)
|
||||
File "/home/martin/.local/lib/python3.13/site-packages/anthropic/resources/messages/messages.py", line 1000, in create
|
||||
return self._post(
|
||||
~~~~~~~~~~^
|
||||
"/v1/messages",
|
||||
^^^^^^^^^^^^^^^
|
||||
...<30 lines>...
|
||||
stream_cls=Stream[RawMessageStreamEvent],
|
||||
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
|
||||
)
|
||||
^
|
||||
File "/home/martin/.local/lib/python3.13/site-packages/anthropic/_base_client.py", line 1368, in post
|
||||
return cast(ResponseT, self.request(cast_to, opts, stream=stream, stream_cls=stream_cls))
|
||||
~~~~~~~~~~~~^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
|
||||
File "/home/martin/.local/lib/python3.13/site-packages/anthropic/_base_client.py", line 1062, in request
|
||||
request = self._build_request(options, retries_taken=retries_taken)
|
||||
File "/home/martin/.local/lib/python3.13/site-packages/anthropic/_base_client.py", line 521, in _build_request
|
||||
headers = self._build_headers(options, retries_taken=retries_taken)
|
||||
File "/home/martin/.local/lib/python3.13/site-packages/anthropic/_base_client.py", line 451, in _build_headers
|
||||
self._validate_headers(headers_dict, custom_headers)
|
||||
~~~~~~~~~~~~~~~~~~~~~~^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
|
||||
File "/home/martin/.local/lib/python3.13/site-packages/anthropic/_client.py", line 196, in _validate_headers
|
||||
raise TypeError(
|
||||
'"Could not resolve authentication method. Expected either api_key or auth_token to be set. Or for one of the `X-Api-Key` or `Authorization` headers to be explicitly omitted"'
|
||||
)
|
||||
TypeError: "Could not resolve authentication method. Expected either api_key or auth_token to be set. Or for one of the `X-Api-Key` or `Authorization` headers to be explicitly omitted"
|
||||
@@ -0,0 +1,86 @@
|
||||
[
|
||||
{
|
||||
"query": "wir brauchen ein neues feature: user-registrierung mit email-verifizierung",
|
||||
"should_trigger": true
|
||||
},
|
||||
{
|
||||
"query": "neue story: passwort-reset-flow implementieren",
|
||||
"should_trigger": true
|
||||
},
|
||||
{
|
||||
"query": "ich möchte einen export-button für die auftragstabelle hinzufügen, bitte vollständig implementieren",
|
||||
"should_trigger": true
|
||||
},
|
||||
{
|
||||
"query": "kannst du das neue api-endpoint für monatsstatistiken implementieren? spec ist im ticket #42",
|
||||
"should_trigger": true
|
||||
},
|
||||
{
|
||||
"query": "wir brauchen multi-tenant-support, fang am besten mit einer vollständigen analyse an",
|
||||
"should_trigger": true
|
||||
},
|
||||
{
|
||||
"query": "neues feature: dark mode in die vue-app einbauen, von research bis PR",
|
||||
"should_trigger": true
|
||||
},
|
||||
{
|
||||
"query": "implementiere bitte das dashboard für die auftragsverwaltung, start to finish",
|
||||
"should_trigger": true
|
||||
},
|
||||
{
|
||||
"query": "ich hab hier ein neues ticket: CSV-import für kundendaten. kannst du das vollständig umsetzen?",
|
||||
"should_trigger": true
|
||||
},
|
||||
{
|
||||
"query": "kannst du den bug in der login-funktion in auth_service.py:87 fixen?",
|
||||
"should_trigger": false
|
||||
},
|
||||
{
|
||||
"query": "refactore bitte die service-schicht, zu viel code-duplikation",
|
||||
"should_trigger": false
|
||||
},
|
||||
{
|
||||
"query": "erkläre mir wie der auth-flow funktioniert",
|
||||
"should_trigger": false
|
||||
},
|
||||
{
|
||||
"query": "führe den plan-review für den aktuellen plan durch",
|
||||
"should_trigger": false
|
||||
},
|
||||
{
|
||||
"query": "mach einen PR für die aktuellen änderungen",
|
||||
"should_trigger": false
|
||||
},
|
||||
{
|
||||
"query": "wie sollte ich das feature architektonisch aufbauen? nur erklären, nicht implementieren",
|
||||
"should_trigger": false
|
||||
},
|
||||
{
|
||||
"query": "optimiere die sql-query in user_repository.py:134, sie ist zu langsam",
|
||||
"should_trigger": false
|
||||
},
|
||||
{
|
||||
"query": "füge einen test für UserService.create_user hinzu",
|
||||
"should_trigger": false
|
||||
},
|
||||
{
|
||||
"query": "kannst du die abhängigkeiten in requirements.txt updaten?",
|
||||
"should_trigger": false
|
||||
},
|
||||
{
|
||||
"query": "ship it bitte",
|
||||
"should_trigger": false
|
||||
},
|
||||
{
|
||||
"query": "bitte nur recherchieren und einen plan erstellen, noch nicht implementieren",
|
||||
"should_trigger": false
|
||||
},
|
||||
{
|
||||
"query": "workflow review bitte, ich will die skills auf best practices prüfen",
|
||||
"should_trigger": false
|
||||
},
|
||||
{
|
||||
"query": "/story",
|
||||
"should_trigger": true
|
||||
}
|
||||
]
|
||||
@@ -0,0 +1,22 @@
|
||||
[
|
||||
{"query": "wir brauchen ein neues feature: user-registrierung mit email-verifizierung", "should_trigger": true},
|
||||
{"query": "neue story: passwort-reset-flow implementieren", "should_trigger": true},
|
||||
{"query": "ich möchte einen export-button für die auftragstabelle hinzufügen, bitte vollständig implementieren", "should_trigger": true},
|
||||
{"query": "kannst du das neue api-endpoint für monatsstatistiken implementieren? spec ist im ticket #42", "should_trigger": true},
|
||||
{"query": "wir brauchen multi-tenant-support, fang am besten mit einer vollständigen analyse an", "should_trigger": true},
|
||||
{"query": "neues feature: dark mode in die vue-app einbauen, von research bis PR", "should_trigger": true},
|
||||
{"query": "implementiere bitte das dashboard für die auftragsverwaltung, start to finish", "should_trigger": true},
|
||||
{"query": "ich hab hier ein neues ticket: CSV-import für kundendaten. kannst du das vollständig umsetzen?", "should_trigger": true},
|
||||
{"query": "kannst du den bug in der login-funktion in auth_service.py:87 fixen?", "should_trigger": false},
|
||||
{"query": "refactore bitte die service-schicht, zu viel code-duplikation", "should_trigger": false},
|
||||
{"query": "erkläre mir wie der auth-flow funktioniert", "should_trigger": false},
|
||||
{"query": "führe den plan-review für den aktuellen plan durch", "should_trigger": false},
|
||||
{"query": "mach einen PR für die aktuellen änderungen", "should_trigger": false},
|
||||
{"query": "wie sollte ich das feature architektonisch aufbauen? nur erklären, nicht implementieren", "should_trigger": false},
|
||||
{"query": "optimiere die sql-query in user_repository.py:134, sie ist zu langsam", "should_trigger": false},
|
||||
{"query": "füge einen test für UserService.create_user hinzu", "should_trigger": false},
|
||||
{"query": "kannst du die abhängigkeiten in requirements.txt updaten?", "should_trigger": false},
|
||||
{"query": "ship it bitte", "should_trigger": false},
|
||||
{"query": "bitte nur recherchieren und einen plan erstellen, noch nicht implementieren", "should_trigger": false},
|
||||
{"query": "workflow review bitte, ich will die skills auf best practices prüfen", "should_trigger": false}
|
||||
]
|
||||
@@ -0,0 +1,82 @@
|
||||
Split: 14 train, 7 test (holdout=0.4)
|
||||
|
||||
============================================================
|
||||
Iteration 1/5
|
||||
Description: Orchestriert den vollständigen Story-Lifecycle von Planung bis PR. Aktivieren wenn eine neue User Story oder ein neues Feature implementiert werden soll.
|
||||
============================================================
|
||||
Train: 24/42 correct, precision=100% recall=0% accuracy=57% (50.9s)
|
||||
[FAIL] rate=0/3 expected=True: ich möchte einen export-button für die auftragstabelle hinzu
|
||||
[FAIL] rate=0/3 expected=True: /story
|
||||
[FAIL] rate=0/3 expected=True: neues feature: dark mode in die vue-app einbauen, von resear
|
||||
[FAIL] rate=0/3 expected=True: wir brauchen multi-tenant-support, fang am besten mit einer
|
||||
[FAIL] rate=0/3 expected=True: neue story: passwort-reset-flow implementieren
|
||||
[FAIL] rate=0/3 expected=True: wir brauchen ein neues feature: user-registrierung mit email
|
||||
[PASS] rate=0/3 expected=False: ship it bitte
|
||||
[PASS] rate=0/3 expected=False: workflow review bitte, ich will die skills auf best practice
|
||||
[PASS] rate=0/3 expected=False: füge einen test für UserService.create_user hinzu
|
||||
[PASS] rate=0/3 expected=False: kannst du den bug in der login-funktion in auth_service.py:8
|
||||
[PASS] rate=0/3 expected=False: optimiere die sql-query in user_repository.py:134, sie ist z
|
||||
[PASS] rate=0/3 expected=False: refactore bitte die service-schicht, zu viel code-duplikatio
|
||||
[PASS] rate=0/3 expected=False: kannst du die abhängigkeiten in requirements.txt updaten?
|
||||
[PASS] rate=0/3 expected=False: bitte nur recherchieren und einen plan erstellen, noch nicht
|
||||
Test : 12/21 correct, precision=100% recall=0% accuracy=57% (0.0s)
|
||||
[FAIL] rate=0/3 expected=True: kannst du das neue api-endpoint für monatsstatistiken implem
|
||||
[FAIL] rate=0/3 expected=True: implementiere bitte das dashboard für die auftragsverwaltung
|
||||
[FAIL] rate=0/3 expected=True: ich hab hier ein neues ticket: CSV-import für kundendaten. k
|
||||
[PASS] rate=0/3 expected=False: führe den plan-review für den aktuellen plan durch
|
||||
[PASS] rate=0/3 expected=False: wie sollte ich das feature architektonisch aufbauen? nur erk
|
||||
[PASS] rate=0/3 expected=False: erkläre mir wie der auth-flow funktioniert
|
||||
[PASS] rate=0/3 expected=False: mach einen PR für die aktuellen änderungen
|
||||
|
||||
Improving description...
|
||||
Traceback (most recent call last):
|
||||
File "<frozen runpy>", line 198, in _run_module_as_main
|
||||
File "<frozen runpy>", line 88, in _run_code
|
||||
File "/home/martin/.claude/plugins/cache/claude-plugins-official/skill-creator/unknown/skills/skill-creator/scripts/run_loop.py", line 332, in <module>
|
||||
main()
|
||||
~~~~^^
|
||||
File "/home/martin/.claude/plugins/cache/claude-plugins-official/skill-creator/unknown/skills/skill-creator/scripts/run_loop.py", line 297, in main
|
||||
output = run_loop(
|
||||
eval_set=eval_set,
|
||||
...<11 lines>...
|
||||
log_dir=log_dir,
|
||||
)
|
||||
File "/home/martin/.claude/plugins/cache/claude-plugins-official/skill-creator/unknown/skills/skill-creator/scripts/run_loop.py", line 202, in run_loop
|
||||
new_description = improve_description(
|
||||
client=client,
|
||||
...<7 lines>...
|
||||
iteration=iteration,
|
||||
)
|
||||
File "/home/martin/.claude/plugins/cache/claude-plugins-official/skill-creator/unknown/skills/skill-creator/scripts/improve_description.py", line 114, in improve_description
|
||||
response = client.messages.create(
|
||||
model=model,
|
||||
...<5 lines>...
|
||||
messages=[{"role": "user", "content": prompt}],
|
||||
)
|
||||
File "/home/martin/.local/lib/python3.13/site-packages/anthropic/_utils/_utils.py", line 283, in wrapper
|
||||
return func(*args, **kwargs)
|
||||
File "/home/martin/.local/lib/python3.13/site-packages/anthropic/resources/messages/messages.py", line 1000, in create
|
||||
return self._post(
|
||||
~~~~~~~~~~^
|
||||
"/v1/messages",
|
||||
^^^^^^^^^^^^^^^
|
||||
...<30 lines>...
|
||||
stream_cls=Stream[RawMessageStreamEvent],
|
||||
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
|
||||
)
|
||||
^
|
||||
File "/home/martin/.local/lib/python3.13/site-packages/anthropic/_base_client.py", line 1368, in post
|
||||
return cast(ResponseT, self.request(cast_to, opts, stream=stream, stream_cls=stream_cls))
|
||||
~~~~~~~~~~~~^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
|
||||
File "/home/martin/.local/lib/python3.13/site-packages/anthropic/_base_client.py", line 1062, in request
|
||||
request = self._build_request(options, retries_taken=retries_taken)
|
||||
File "/home/martin/.local/lib/python3.13/site-packages/anthropic/_base_client.py", line 521, in _build_request
|
||||
headers = self._build_headers(options, retries_taken=retries_taken)
|
||||
File "/home/martin/.local/lib/python3.13/site-packages/anthropic/_base_client.py", line 451, in _build_headers
|
||||
self._validate_headers(headers_dict, custom_headers)
|
||||
~~~~~~~~~~~~~~~~~~~~~~^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
|
||||
File "/home/martin/.local/lib/python3.13/site-packages/anthropic/_client.py", line 196, in _validate_headers
|
||||
raise TypeError(
|
||||
'"Could not resolve authentication method. Expected either api_key or auth_token to be set. Or for one of the `X-Api-Key` or `Authorization` headers to be explicitly omitted"'
|
||||
)
|
||||
TypeError: "Could not resolve authentication method. Expected either api_key or auth_token to be set. Or for one of the `X-Api-Key` or `Authorization` headers to be explicitly omitted"
|
||||
@@ -0,0 +1,82 @@
|
||||
[
|
||||
{
|
||||
"query": "reviewe den aktuellen workflow und sag mir was verbessert werden kann",
|
||||
"should_trigger": true
|
||||
},
|
||||
{
|
||||
"query": "sind die skills noch up to date?",
|
||||
"should_trigger": true
|
||||
},
|
||||
{
|
||||
"query": "bitte prüfe alle skills und agenten auf konsistenz",
|
||||
"should_trigger": true
|
||||
},
|
||||
{
|
||||
"query": "ich möchte wissen ob meine claude-konfiguration best practices folgt",
|
||||
"should_trigger": true
|
||||
},
|
||||
{
|
||||
"query": "gibt es widersprüche zwischen den skills in diesem repo?",
|
||||
"should_trigger": true
|
||||
},
|
||||
{
|
||||
"query": "schau mal über die workflow-konfiguration, besonders den /ship-skill stimmt was nicht",
|
||||
"should_trigger": true
|
||||
},
|
||||
{
|
||||
"query": "workflow review bitte",
|
||||
"should_trigger": true
|
||||
},
|
||||
{
|
||||
"query": "vergleiche unsere skills mit der externen best-practice-referenz und zeig mir abweichungen",
|
||||
"should_trigger": true
|
||||
},
|
||||
{
|
||||
"query": "reviewe meinen code in orders_service.py auf qualität",
|
||||
"should_trigger": false
|
||||
},
|
||||
{
|
||||
"query": "bitte den offenen PR #15 reviewen",
|
||||
"should_trigger": false
|
||||
},
|
||||
{
|
||||
"query": "wie funktioniert der story-lifecycle?",
|
||||
"should_trigger": false
|
||||
},
|
||||
{
|
||||
"query": "erstelle einen neuen skill für automatisches changelog-schreiben",
|
||||
"should_trigger": false
|
||||
},
|
||||
{
|
||||
"query": "prüfe meinen implementierungsplan",
|
||||
"should_trigger": false
|
||||
},
|
||||
{
|
||||
"query": "was bedeutet das feld context: fork in einem skill?",
|
||||
"should_trigger": false
|
||||
},
|
||||
{
|
||||
"query": "bitte den security-audit für die neuen endpoints durchführen",
|
||||
"should_trigger": false
|
||||
},
|
||||
{
|
||||
"query": "wie wird der test-runner agent gestartet?",
|
||||
"should_trigger": false
|
||||
},
|
||||
{
|
||||
"query": "kannst du das CLAUDE.md reviewen und verbessern?",
|
||||
"should_trigger": false
|
||||
},
|
||||
{
|
||||
"query": "check mal ob settings.json korrekt ist",
|
||||
"should_trigger": false
|
||||
},
|
||||
{
|
||||
"query": "zeig mir alle hooks die aktuell konfiguriert sind",
|
||||
"should_trigger": false
|
||||
},
|
||||
{
|
||||
"query": "was sind die unterschiede zwischen /go und /ship?",
|
||||
"should_trigger": false
|
||||
}
|
||||
]
|
||||
@@ -0,0 +1,22 @@
|
||||
[
|
||||
{"query": "reviewe den aktuellen workflow und sag mir was verbessert werden kann", "should_trigger": true},
|
||||
{"query": "sind die skills noch up to date?", "should_trigger": true},
|
||||
{"query": "bitte prüfe alle skills und agenten auf konsistenz", "should_trigger": true},
|
||||
{"query": "ich möchte wissen ob meine claude-konfiguration best practices folgt", "should_trigger": true},
|
||||
{"query": "gibt es widersprüche zwischen den skills in diesem repo?", "should_trigger": true},
|
||||
{"query": "schau mal über die workflow-konfiguration, besonders den /ship-skill stimmt was nicht", "should_trigger": true},
|
||||
{"query": "workflow review bitte", "should_trigger": true},
|
||||
{"query": "vergleiche unsere skills mit der externen best-practice-referenz und zeig mir abweichungen", "should_trigger": true},
|
||||
{"query": "reviewe meinen code in orders_service.py auf qualität", "should_trigger": false},
|
||||
{"query": "bitte den offenen PR #15 reviewen", "should_trigger": false},
|
||||
{"query": "wie funktioniert der story-lifecycle?", "should_trigger": false},
|
||||
{"query": "erstelle einen neuen skill für automatisches changelog-schreiben", "should_trigger": false},
|
||||
{"query": "prüfe meinen implementierungsplan", "should_trigger": false},
|
||||
{"query": "was bedeutet das feld context: fork in einem skill?", "should_trigger": false},
|
||||
{"query": "bitte den security-audit für die neuen endpoints durchführen", "should_trigger": false},
|
||||
{"query": "wie wird der test-runner agent gestartet?", "should_trigger": false},
|
||||
{"query": "kannst du das CLAUDE.md reviewen und verbessern?", "should_trigger": false},
|
||||
{"query": "check mal ob settings.json korrekt ist", "should_trigger": false},
|
||||
{"query": "zeig mir alle hooks die aktuell konfiguriert sind", "should_trigger": false},
|
||||
{"query": "was sind die unterschiede zwischen /go und /ship?", "should_trigger": false}
|
||||
]
|
||||
@@ -0,0 +1,81 @@
|
||||
Split: 13 train, 7 test (holdout=0.4)
|
||||
|
||||
============================================================
|
||||
Iteration 1/5
|
||||
Description: Reviewt Skills, Agenten und Konfigurationsdateien dieses Repos auf Vollständigkeit, Konsistenz und Best Practices. Erstellt einen umsetzbaren Plan für Verbesserungen.
|
||||
============================================================
|
||||
Train: 24/39 correct, precision=100% recall=0% accuracy=62% (48.5s)
|
||||
[FAIL] rate=0/3 expected=True: bitte prüfe alle skills und agenten auf konsistenz
|
||||
[FAIL] rate=0/3 expected=True: schau mal über die workflow-konfiguration, besonders den /sh
|
||||
[FAIL] rate=0/3 expected=True: reviewe den aktuellen workflow und sag mir was verbessert we
|
||||
[FAIL] rate=0/3 expected=True: vergleiche unsere skills mit der externen best-practice-refe
|
||||
[FAIL] rate=0/3 expected=True: sind die skills noch up to date?
|
||||
[PASS] rate=0/3 expected=False: was bedeutet das feld context: fork in einem skill?
|
||||
[PASS] rate=0/3 expected=False: wie wird der test-runner agent gestartet?
|
||||
[PASS] rate=0/3 expected=False: reviewe meinen code in orders_service.py auf qualität
|
||||
[PASS] rate=0/3 expected=False: bitte den security-audit für die neuen endpoints durchführen
|
||||
[PASS] rate=0/3 expected=False: zeig mir alle hooks die aktuell konfiguriert sind
|
||||
[PASS] rate=0/3 expected=False: kannst du das CLAUDE.md reviewen und verbessern?
|
||||
[PASS] rate=0/3 expected=False: bitte den offenen PR #15 reviewen
|
||||
[PASS] rate=0/3 expected=False: was sind die unterschiede zwischen /go und /ship?
|
||||
Test : 12/21 correct, precision=100% recall=0% accuracy=57% (0.0s)
|
||||
[FAIL] rate=0/3 expected=True: ich möchte wissen ob meine claude-konfiguration best practic
|
||||
[FAIL] rate=0/3 expected=True: gibt es widersprüche zwischen den skills in diesem repo?
|
||||
[FAIL] rate=0/3 expected=True: workflow review bitte
|
||||
[PASS] rate=0/3 expected=False: erstelle einen neuen skill für automatisches changelog-schre
|
||||
[PASS] rate=0/3 expected=False: wie funktioniert der story-lifecycle?
|
||||
[PASS] rate=0/3 expected=False: prüfe meinen implementierungsplan
|
||||
[PASS] rate=0/3 expected=False: check mal ob settings.json korrekt ist
|
||||
|
||||
Improving description...
|
||||
Traceback (most recent call last):
|
||||
File "<frozen runpy>", line 198, in _run_module_as_main
|
||||
File "<frozen runpy>", line 88, in _run_code
|
||||
File "/home/martin/.claude/plugins/cache/claude-plugins-official/skill-creator/unknown/skills/skill-creator/scripts/run_loop.py", line 332, in <module>
|
||||
main()
|
||||
~~~~^^
|
||||
File "/home/martin/.claude/plugins/cache/claude-plugins-official/skill-creator/unknown/skills/skill-creator/scripts/run_loop.py", line 297, in main
|
||||
output = run_loop(
|
||||
eval_set=eval_set,
|
||||
...<11 lines>...
|
||||
log_dir=log_dir,
|
||||
)
|
||||
File "/home/martin/.claude/plugins/cache/claude-plugins-official/skill-creator/unknown/skills/skill-creator/scripts/run_loop.py", line 202, in run_loop
|
||||
new_description = improve_description(
|
||||
client=client,
|
||||
...<7 lines>...
|
||||
iteration=iteration,
|
||||
)
|
||||
File "/home/martin/.claude/plugins/cache/claude-plugins-official/skill-creator/unknown/skills/skill-creator/scripts/improve_description.py", line 114, in improve_description
|
||||
response = client.messages.create(
|
||||
model=model,
|
||||
...<5 lines>...
|
||||
messages=[{"role": "user", "content": prompt}],
|
||||
)
|
||||
File "/home/martin/.local/lib/python3.13/site-packages/anthropic/_utils/_utils.py", line 283, in wrapper
|
||||
return func(*args, **kwargs)
|
||||
File "/home/martin/.local/lib/python3.13/site-packages/anthropic/resources/messages/messages.py", line 1000, in create
|
||||
return self._post(
|
||||
~~~~~~~~~~^
|
||||
"/v1/messages",
|
||||
^^^^^^^^^^^^^^^
|
||||
...<30 lines>...
|
||||
stream_cls=Stream[RawMessageStreamEvent],
|
||||
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
|
||||
)
|
||||
^
|
||||
File "/home/martin/.local/lib/python3.13/site-packages/anthropic/_base_client.py", line 1368, in post
|
||||
return cast(ResponseT, self.request(cast_to, opts, stream=stream, stream_cls=stream_cls))
|
||||
~~~~~~~~~~~~^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
|
||||
File "/home/martin/.local/lib/python3.13/site-packages/anthropic/_base_client.py", line 1062, in request
|
||||
request = self._build_request(options, retries_taken=retries_taken)
|
||||
File "/home/martin/.local/lib/python3.13/site-packages/anthropic/_base_client.py", line 521, in _build_request
|
||||
headers = self._build_headers(options, retries_taken=retries_taken)
|
||||
File "/home/martin/.local/lib/python3.13/site-packages/anthropic/_base_client.py", line 451, in _build_headers
|
||||
self._validate_headers(headers_dict, custom_headers)
|
||||
~~~~~~~~~~~~~~~~~~~~~~^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
|
||||
File "/home/martin/.local/lib/python3.13/site-packages/anthropic/_client.py", line 196, in _validate_headers
|
||||
raise TypeError(
|
||||
'"Could not resolve authentication method. Expected either api_key or auth_token to be set. Or for one of the `X-Api-Key` or `Authorization` headers to be explicitly omitted"'
|
||||
)
|
||||
TypeError: "Could not resolve authentication method. Expected either api_key or auth_token to be set. Or for one of the `X-Api-Key` or `Authorization` headers to be explicitly omitted"
|
||||
+1
-1
@@ -1,5 +1,5 @@
|
||||
---
|
||||
description: Führt nach einer Implementierung Tests aus, vereinfacht den Code und erstellt einen PR in Gitea. Aktivieren wenn eine Feature-Implementierung abgeschlossen ist und ein PR erstellt werden soll.
|
||||
description: Kombinierter Test+Simplify+PR-Workflow nach einer Implementierung — startet den test-runner, vereinfacht geänderten Code und erstellt einen PR in Gitea, alles in einem Schritt. Aktivieren sobald eine Implementierung abgeschlossen ist und Tests + PR als nächstes anstehen. Nicht verwenden wenn nur Tests, nur ein PR ohne vorherige Tests, oder ein vollständiges Merge+Cleanup gewünscht ist (dafür /ship nutzen).
|
||||
context: fork
|
||||
model: claude-haiku-4-5-20251001
|
||||
---
|
||||
|
||||
@@ -1,5 +1,5 @@
|
||||
---
|
||||
description: Startet einen unabhängigen Opus-Agenten der den aktuellen Plan auf Vollständigkeit, Risiken und fehlende Tests prüft. Aktivieren nach der Planungsphase, bevor die Implementierung beginnt.
|
||||
description: Startet einen unabhängigen Opus-Agenten, der einen bereits erstellten Implementierungsplan auf Vollständigkeit, Risiken, fehlende Tests und Alembic-Migrationen prüft — bevor die Implementierung beginnt. Aktivieren wenn ein Plan bereits steht und ein zweiter unabhängiger Blick darauf geworfen werden soll. Nicht verwenden um einen Plan zu erstellen, zu erweitern, oder um Code, PRs oder Schemata zu reviewen.
|
||||
context: fork
|
||||
model: claude-opus-4-6
|
||||
---
|
||||
|
||||
@@ -1,5 +1,5 @@
|
||||
---
|
||||
description: Finales Commit → Push → PR erstellen → Mergen → Aufräumen. Explizit vom User aufzurufen wenn ein Feature abgeschlossen ist.
|
||||
description: Finaler Abschluss eines Features: Commit → Push → PR erstellen → PR mergen → Branch löschen → main pullen. Aktivieren wenn alles fertig ist und der Branch vollständig in main überführt werden soll. Unterschied zu /go: /ship merged den PR und räumt auf. Nicht aufrufen wenn der User nur committen, nur pushen, nur einen PR erstellen oder die Tests noch laufen lassen möchte.
|
||||
context: fork
|
||||
model: claude-haiku-4-5-20251001
|
||||
---
|
||||
|
||||
+10
-49
@@ -1,57 +1,18 @@
|
||||
---
|
||||
description: Orchestriert den vollständigen Story-Lifecycle von Planung bis PR. Aktivieren wenn eine neue User Story oder ein neues Feature implementiert werden soll.
|
||||
description: Vollständiger Lifecycle für neue Features und User Stories: Research → Planung → Plan-Review → Implementierung → Tests → PR → Security-Audit. Aktivieren wenn ein neues Feature oder eine neue Story vollständig umgesetzt werden soll — von der ersten Analyse bis zum fertigen PR. Nicht verwenden für Bug-Fixes, Refactorings, einzelne Optimierungen oder wenn nur ein Teilschritt (nur planen, nur implementieren, nur PR) gewünscht ist.
|
||||
model: claude-opus-4-6
|
||||
---
|
||||
|
||||
# /story — Voller Story-Lifecycle
|
||||
|
||||
Führe den Story-Lifecycle vollständig durch. Warte nach jeder Phase auf Bestätigung.
|
||||
Führe den Story-Lifecycle vollständig durch. **Warte nach jeder Phase auf Bestätigung.**
|
||||
|
||||
## Phase 1: Research
|
||||
Lies die Detail-Datei jeweils erst wenn du die Phase erreichst — nicht vorher.
|
||||
|
||||
Starte bis zu 3 Explore-Subagenten parallel für:
|
||||
- Bestehende Implementierungen im relevanten Bereich finden
|
||||
- Test-Patterns und -Setup analysieren
|
||||
- Abhängige Services/Modelle identifizieren
|
||||
|
||||
Hole Context-7-Dokumentation für alle beteiligten Frameworks:
|
||||
```
|
||||
mcp__plugin_context7_context7__resolve-library-id
|
||||
mcp__plugin_context7_context7__query-docs
|
||||
```
|
||||
|
||||
## Phase 2: Planung
|
||||
|
||||
Aktiviere Plan-Modus.
|
||||
Erstelle einen detaillierten Plan mit Akzeptanzkriterien.
|
||||
|
||||
## Phase 3: Plan-Review
|
||||
|
||||
Rufe `/plan-review` auf.
|
||||
Warte auf das Ergebnis.
|
||||
Bei ❌-Punkten: Plan anpassen, dann erneut reviewen.
|
||||
Bei ✅ Freigabe: weiter.
|
||||
|
||||
## Phase 4: Implementierung
|
||||
|
||||
Feature-Branch erstellen:
|
||||
```
|
||||
!git checkout -b feat/<story-name>
|
||||
```
|
||||
Implementierung durchführen. Commits stündlich.
|
||||
|
||||
## Phase 5: Tests und PR
|
||||
|
||||
Rufe `/go` auf (Test + Simplify + PR).
|
||||
Warte auf PR-URL.
|
||||
|
||||
## Phase 6: Security-Audit
|
||||
|
||||
Starte den `security-audit`-Agenten.
|
||||
Warte auf das Ergebnis. Bei kritischen Befunden: Beheben, dann erneut prüfen.
|
||||
|
||||
## Phase 7: Abschluss
|
||||
|
||||
Rufe `/ship` auf (Commit → Push → PR → Merge → Cleanup).
|
||||
|
||||
Ausgabe: PR-URL + kurze Zusammenfassung was implementiert wurde.
|
||||
| Phase | Detail-Datei |
|
||||
|---|---|
|
||||
| 1 · Research | `references/phase-1-research.md` |
|
||||
| 2 · Planung | `references/phase-2-planung.md` |
|
||||
| 3 · Plan-Review | `references/phase-3-plan-review.md` |
|
||||
| 4 · Implementierung | `references/phase-4-implementierung.md` |
|
||||
| 5–7 · Tests, Security, Abschluss | `references/phase-5-7-abschluss.md` |
|
||||
|
||||
@@ -0,0 +1,18 @@
|
||||
# Phase 1: Research
|
||||
|
||||
Starte bis zu 3 Explore-Subagenten parallel für:
|
||||
- Bestehende Implementierungen im relevanten Bereich finden
|
||||
- Test-Patterns und -Setup analysieren
|
||||
- Abhängige Services/Modelle identifizieren
|
||||
|
||||
Hole Context-7-Dokumentation für alle beteiligten Frameworks:
|
||||
```
|
||||
mcp__plugin_context7_context7__resolve-library-id
|
||||
mcp__plugin_context7_context7__query-docs
|
||||
```
|
||||
|
||||
Warte auf alle Subagenten, fasse die Ergebnisse zusammen und präsentiere dem User:
|
||||
- Relevante Dateien und Module
|
||||
- Vorhandene Test-Patterns
|
||||
- Abhängigkeiten die beachtet werden müssen
|
||||
- Offene Fragen vor der Planung
|
||||
@@ -0,0 +1,15 @@
|
||||
# Phase 2: Planung
|
||||
|
||||
Aktiviere den Plan-Modus (`EnterPlanMode`).
|
||||
|
||||
Erstelle einen detaillierten Implementierungsplan mit:
|
||||
- Akzeptanzkriterien (als Checkboxen)
|
||||
- Betroffene Dateien und Module
|
||||
- Reihenfolge der Implementierungsschritte
|
||||
- Benötigte Alembic-Migrationen (falls Schema-Änderungen)
|
||||
- Testplan: Unit-, Integration- und Security-Tests
|
||||
- Risiken und Abhängigkeiten
|
||||
|
||||
Speichere den Plan nach `/home/martin/.claude/plans/<story-name>.md`.
|
||||
|
||||
Präsentiere den Plan dem User. Warte auf Bestätigung bevor Phase 3 beginnt.
|
||||
@@ -0,0 +1,10 @@
|
||||
# Phase 3: Plan-Review
|
||||
|
||||
Rufe `/plan-review` auf — ein unabhängiger Opus-Agent prüft den Plan.
|
||||
|
||||
Warte auf das Ergebnis:
|
||||
- Bei **❌ Fehlt**: Plan anpassen, dann erneut `/plan-review` aufrufen
|
||||
- Bei **⚠️ Risiko**: Abwägen — entweder Plan anpassen oder Risiko bewusst akzeptieren und dokumentieren
|
||||
- Bei **✅ Freigabe**: Weiter mit Phase 4
|
||||
|
||||
Erst nach Freigabe mit der Implementierung beginnen.
|
||||
@@ -0,0 +1,15 @@
|
||||
# Phase 4: Implementierung
|
||||
|
||||
Feature-Branch erstellen:
|
||||
```bash
|
||||
git checkout -b feat/<story-name>
|
||||
```
|
||||
|
||||
Implementierung nach Plan durchführen:
|
||||
- Schritte aus dem Plan der Reihe nach abarbeiten
|
||||
- Nach jedem logischen Abschnitt committen (mind. stündlich)
|
||||
- CLAUDE.md-Konventionen einhalten: Ruff, Type Hints, async, Pydantic-Schemas
|
||||
- Keine generischen `try/except`, kein toter Code, Logging statt print
|
||||
- Alembic-Migration erstellen falls nötig: `alembic revision --autogenerate -m "..."`
|
||||
|
||||
Bei unerwarteten Problemen: User informieren und Lösungsvorschlag präsentieren, nicht stumm abweichen.
|
||||
@@ -0,0 +1,21 @@
|
||||
# Phase 5–7: Tests, Security-Audit und Abschluss
|
||||
|
||||
## Phase 5: Tests und PR
|
||||
|
||||
Rufe `/go` auf (test-runner → code-simplifier → PR in Gitea).
|
||||
Warte auf die PR-URL.
|
||||
|
||||
## Phase 6: Security-Audit
|
||||
|
||||
Starte den `security-audit`-Agenten für alle geänderten Dateien.
|
||||
Warte auf das Ergebnis.
|
||||
- Bei **kritischen Befunden**: Beheben, dann erneut prüfen
|
||||
- Bei **Warnungen**: Mit User abstimmen
|
||||
|
||||
## Phase 7: Abschluss
|
||||
|
||||
Rufe `/ship` auf (Commit → Push → PR → Merge → Cleanup).
|
||||
|
||||
Abschlussmeldung:
|
||||
- PR-URL
|
||||
- Kurze Zusammenfassung: was implementiert wurde, welche Dateien geändert wurden
|
||||
@@ -1,5 +1,5 @@
|
||||
---
|
||||
description: Reviewt Skills, Agenten und Konfigurationsdateien dieses Repos auf Vollständigkeit, Konsistenz und Best Practices. Erstellt einen umsetzbaren Plan für Verbesserungen.
|
||||
description: Prüft alle Skills, Agenten, Hooks und Konfigurationsdateien dieses Repos auf Konsistenz, Widersprüche, veraltete Modelle und Abweichungen von Best Practices — vergleicht mit externer Referenz und erstellt einen priorisierten Umsetzungsplan. Aktivieren wenn der Workflow selbst (Skills, Agenten, Konfiguration) geprüft oder verbessert werden soll. Nicht verwenden für Code-Reviews, PR-Reviews, Security-Audits oder Fragen zu einzelnen Skill-Details.
|
||||
context: fork
|
||||
model: claude-opus-4-6
|
||||
---
|
||||
|
||||
Reference in New Issue
Block a user