I build agent harnesses for document-heavy work (proposals, public bids, RFPs) and measure whether they actually hold.
Six of the last eight ended before a line of code. Five were killed by the measurement itself.
One of them when a single grep showed 299 of 300 cases were already covered.
ํ๋ค์ค๋ฅผ ์ง์ ์งญ๋๋ค. ์ฌ๋์ ์ปค๋งจ๋ 15๊ฐ, ์ญํ ํ๋กฌํํธ 16๊ฐ, ์ฌ๋์ด ๋จ๊ณ๋ง๋ค ๊ฒ์ดํธ๋ฅผ ์๋ ํ์ดํ๋ผ์ธ ํ๋.
/jx-track # ํธ๋ ๋ธ๋ฆฌํ์ ํํธ๋ ๊ด์ ์ผ๋ก ํด๋ถํ๋ค (์์ด๋์ด ๊ธ์ง)
/jx-common # ๋ค๋ฅธ ํ์ด ๋ผ ๋ต์ ๋จผ์ ๋ฝ์ ๊ธ์ง๋ชฉ๋ก์ ๋ฃ๋๋ค
/jx-skeptic # ํ๋ณด๋ฅผ ํ๋์ฉ ๋
๋ฆฝ์ ์ผ๋ก ๊ณต๊ฒฉํ๋ค (์ฅ์ ๊ธ์ง)
/jx-consistency # ์ฐ์ถ๋ฌผ ์ ์ฒด๋ฅผ ๊ธฐ๊ณ์ ์ผ๋ก ๋์กฐํ๋ค์์ด์ ํธ์๊ฒ "์ ํด์ค"๋ผ๊ณ ํ์ง ์์ต๋๋ค. ๋ฌด์์ ํ์ง ๋ง๋ผ๊ณ ์ ๊ณ , ๊ฒฐ๊ณผ๋ฅผ ๋ค์ ์ ๋๋ค.
flowchart LR
A["๐ ์ฐ๋ค"] --> B{"์ ์ ๊ฐ<br/>์ด์์๋"}
B -->|์๋์ค| C["โ๏ธ ์ ๋๋ค<br/>์ฝ๋ 0์ค"]
B -->|์| D["๐จ ๋ง๋ ๋ค"]
D --> E["๐ ๋ค์ ์ฐ๋ค"]
E --> F["๐ ํ๋ฆฐ ๊ฑธ<br/>README์ ์ ๋๋ค"]
F --> A
C --> A
์ค์ ์ฌ๋ ๊ฑด์ ๋ฐฐํฌ ํ๋. ์ฌ์ฏ ๊ฑด์ ์ฝ๋๋ฅผ ํ ์ค๋ ์ ์ผ๊ณ ๋ค์ฏ์ ํ๋จ ๊ฒ์ดํธ์์ ์ฃฝ์์ต๋๋ค.
| ํ๋ก์ ํธ ์ ์ฅ์ | ํ์ด์ฌ | ํ ์คํธ | ํ ์คํธ๋ฅผ ๋ ์ ์ฅ์ |
|---|---|---|---|
| 13๊ฐ ยท ๊ณต๊ฐ 10 | 15,972์ค | 616๊ฐ | 13๊ฐ ์ค 9๊ฐ |
2026-08-26 ์ง์ ์ผ ๊ฐ์
๋๋ค. find . -name '*.py' -not -path '*/.claude/*' -not -path '*/runs/*' | xargs cat | wc -l ยท grep -rhoE '^\s*def test_' | wc -l.
ํ๋ฃจ ์ ์๋ ๋ ๊ฒฝ๋ก๋ฅผ ์ ๋นผ๊ณ ์ธ์ 21,257์คยท826๊ฐ๋ก ์ ์์ต๋๋ค. ์ํฌํธ๋ฆฌ ์ฌ๋ณธ์ด ํ ์ ์ฅ์๋ฅผ ์ธ ๋ฒ ์ธ๊ณ runs/ ์๋์ ๋ด ์ ์ฅ์ ์ฝ๋๊ฐ ๋ค์ด ์์์ต๋๋ค. ๋๋จธ์ง ๋ค ๊ฐ์๋ ํ
์คํธ๊ฐ ์์ต๋๋ค.
| ๋ฌด์ | ์ฌ๋ณด๋ | |
|---|---|---|
| ledger-reconcile | ์์ฅ ์ด๊ด์ด ๋ง๋์ง ์ฌ๋ ํ๋ค์ค | ๊ฒฐํจ 11์ข ์ค 7์ข ์ด ์ง๊ณ ๋์กฐ๋ฅผ ๊ทธ๋ฅ ํต๊ณผ |
| edit-receipt | ์ผ๊ด ํธ์ง์ ์์์ฆ์ ๋ถ์ธ๋ค | ๋ง๋ ๋ ์๊ธฐ README ๊ณ ์น๋ค ์๊ธฐํํ ๊ฑธ๋ฆผ |
| spaced-quiz | ๋ ธํธ ๋ฌธํญ์ ๊ฐ๊ฒฉ ๋ฐ๋ณต์ผ๋ก | ๋ฌธํญ ์๊ฐ ์ธ๋ ๋ฒ๋ง๋ค 723 / 781 / 722 / 686 |
| wikilink-audit | ๋ณผํธ์ ๊นจ์ง ๋งํฌ | ์ ๋ฐ๋ 0.19 โ 1.00 โ 0.980 |
| extraction-benchmark | ์ฌ๋ ๋ ํ์ดํ๋ผ์ธ | 60์ด โ 8.6์ด, ๋จ์๋ ์์ชฝ ๋ค ๋์นจ |
| hiring-traps | Upstage Studio๋ฅผ ์ฌ๋ณธ ๊ธฐ๋ก | ๋ ธ๋ 14์ข ์ค 4์ข ๋ง ์ฐ์ธ๋ค |
๐ ์ ๋ถ ์คํจ๋ฅผ ์ง์ฐ์ง ์๊ณ README์ ๋จ๊ฒจ๋์ต๋๋ค. ์ซ์๊ฐ ๋๋น ์ง ๊ฒ๋์.
Team soft icecream ยท Upstage ํธ๋ ยท ๊ธฐํ๊ณผ AI ํ์ดํ๋ผ์ธ ๋ด๋น (ํ 80์ปค๋ฐ ์ค 48)
๋๋ผ์ฅํฐ ๊ณต๊ณ ๋ฅผ ์ฝ์ด ์ ์ฐฐ ๊ฐ๋ฅํ ๊ฒ๋ง ์ถ๋ฆฌ๊ณ , ์๊ตฌ์ฌํญ ์ฒดํฌ๋ฆฌ์คํธ ยท WBS ยท ์๊ณ๊ฒฝ๋ก ยท ์ ์ถ๋ฌผ ๋ชฉ๋ก๊น์ง ๋ ๋๋ค.
์ถ์ฒ 3๊ฑด ์์ ๋บ 124๊ฑด์ ์ด์ ๊ฐ ๊ทผ๊ฑฐ ์ชฝ๊ณผ ํจ๊ป ๋ถ์ด ์์ต๋๋ค. ํ์ฌ์ ๊ณต๊ณ ํ์ ์ ๋ฐ๋ชจ์ฉ ๊ฐ์ ๋ฐ์ดํฐ์
๋๋ค.
ํ๋ฉด ๋์์ธ์ ํ ๋์์ด๋ Yejin Joo, ํ๋ฉด์ ๋ฐํ ํ์ ๊ท์น๊ณผ ๋ฐ๋ชจ ๋ฐ์ดํฐ๋ ์ ๊ธฐํ ๋ฌธ์์์ ์์ต๋๋ค.
ํ๋ฉด ์ธ ์ฅ ๋ โ ํ์ฌ ์นด๋ ยท WBS์ ์๊ณ๊ฒฝ๋ก ยท ์ ์ถ ์ค๋น
์ฝ์ง ๋ชปํ ์นธ์ 0์ผ๋ก ์ฑ์ฐ์ง ์๊ณ ๋ฏธํ์ธ์ผ๋ก ๋จ๊ธด ๋ค ์ฌ๋์ด ๋ฃ์ต๋๋ค.
๊ธฐ๊ฐ์ด ๋ฌธ์์ ์์ผ๋ฉด ๋น์๋์ง ์๊ณ "๋ฏธ ๋ช ์"๋ก ์ ์ต๋๋ค. ์๊ฐ๋ M/M๊น์ง๋ง ๋ด๊ณ ํฌ์ฐฐ๊ฐ๋ ๋ง๋ค์ง ์์ต๋๋ค.
๋ถ์ ยท ์ ํจ๊ธฐ๊ฐ ยท ๋ณด์ ๋ฆฌ๋ํ์, ๊ทธ๋ฆฌ๊ณ ๊ธ์ง ํํ ๊ฒ์ฌ์ ๋๋ค. ์ธํธ ์ ์ถ๊ณผ ๋ถ๋ ์ํ ๊ฐ์ ์ ์ฝ๋ ๊ณต๊ณ ๋ฌธ ์ชฝ์๋ฅผ ๋ฌ๊ณ ์ต๋๋ค.
flowchart LR
N["๐ข ๋๋ผ์ฅํฐ<br/>๊ณต๊ณ ์๋ฌธ"] --> S
C["๐ข ํ์ฌ ์๋ฅ<br/>๋ฑ๋ก์ฆ ยท ์ค์ "] --> S
S["Upstage Studio<br/>Parse โ Classify โ Extract<br/>HWP 77์ชฝ ๊ทธ๋๋ก"] --> J
J["Solar Pro<br/>์๊ฒฉ ยท ๊ณํ ยท ์ ์ถ ํ์ "] --> G
G{"๋ฐฑ์๋๊ฐ<br/>๋ค์ ์ผ๋ค"} -->|"๋ถ์ผ์น"| G2["๐ฉ ๋ฏธํ์ธ์ผ๋ก ํ์<br/>0์ผ๋ก ์ ์ฑ์ด๋ค"]
G -->|"์ผ์น"| K["๐ Bid Kit<br/>์๊ตฌ์ฌํญ ยท WBS<br/>์๊ณ๊ฒฝ๋ก ยท ์ ์ถ๋ฌผ"]
G2 --> K
ํ ๊ฑด์ Studio ์ก 6ํ ยท Solar 6ํ. ์ฝ๋๋ฐ 10๋ถ 22์ด, ์บ์ 4๋ถ 11์ด์ ๋๋ค.
์ ์ฐฐ์ ์๋ฅ ํ ์ฅ์ด ๋น ์ง๋ฉด ๊ทธ ์๋ฆฌ์์ ์ค๊ฒฉ์ด๋ผ "์๋ง ๋ง์ ๊ฒ๋๋ค"๋ ๊ฐ์ด 0์ ๋๋ค. ๊ทธ๋์ ํ์ ๋ง๋ค ๊ทผ๊ฑฐ ๋ฌธ์์ ์ชฝ์ ๋ฌ๊ฒ ํ๊ณ , ๋ชป ์ฝ์ ์นธ์ 0์ผ๋ก ์ฑ์ฐ์ง ์๊ฒ ํ์ต๋๋ค.
๋ชจ๋ธ์ด ๊ธ์ง ํํ 0๊ณณ์ด๋ผ๊ณ ํ ์๊ณ ๋ฅผ ๋ฐฑ์๋๊ฐ ์ชฝ ๋จ์๋ก ๋ค์ ํ์ผ๋ 3๊ณณ์ด ๋์์ต๋๋ค. ํ์ ์ ์ ๋ถ ๋ ๋ฒ ์ ๋๋ค.
ํ๋ฉด์ ๋ฐํ ๊ท์น์ ์ ๊ฐ ์ด ๊ธฐํ ๋ฌธ์์์ ๊ทธ๋๋ก ์์ต๋๋ค. ๋ชจ๋ ํ์ ์ ๊ทผ๊ฑฐ ํ์ด์ง๋ฅผ ๋ถ์ธ๋ค, ๋ชป ์ฝ์ ์นธ์ ๋ฏธํ์ธ์ผ๋ก ๋จ๊ธด๋ค, ํฌ์ฐฐ๊ฐ๋ ๋ง๋ค์ง ์๋๋ค.
์ง์ผ์ง์ง ์์ ์๋ฆฌ๋ ๊ทธ๋๋ก ๋ก๋๋ค. ์ ํค๋๋ผ์ธ "127๊ฑด ์ค 3๊ฑด"์ ํฝ์ค์ฒ์ ๋ฐํ ์์(screening.demo.json)๋ผ์ ์ถ์ฒ๊ฐ ์๊ณ , ๊ทธ๊ฑด ์ ๊ฐ ์ด "์ถ์ฒ ์๋ ์ซ์ ๊ธ์ง"์ ์ ๋ฉด์ผ๋ก ๊ฑธ๋ฆฝ๋๋ค. ๋ํ ์ค์ ๊ฑธ๋ฆฐ ๊ฑธ ์ ์ด๋ง ๋๊ณ ๋ชป ๊ณ ์ณค์ต๋๋ค.
๋ฐ๋๋ก ๊ฐ ์๋ฆฌ๋ ์์ต๋๋ค. ๋ชฉ์ ์ ๋๋กญ์กด์ ๋ค์ฏ ํ์์ ์ฝ์ํ๋๋ฐ, ์ฝ๋๋ ๊ทธ ์ฝ์์ ๋ํ์ดํ์ง ์๊ณ ํ์ฉ ๋ชฉ๋ก์์ ๋ฌธ๊ตฌ๋ฅผ ๋ง๋ค์ด "PDF ยท HWPใปHWPXใปJPGใปJPEGใปPNG๋ ์ค๋น ์ค"์ ๋์๋๋ค.


