What problem does it solve?
๊ธ์ ์ยท์ค ์ยทUTF-8/NEIS ๋ฐ์ดํธ ์ ํ์ด ์ค์ํ ํ๊ตญ์ด ์
๋ ฅ์์, LLM ์ถ์ ์์ด ์ฌํ ๊ฐ๋ฅํ ์ ํํ ์นด์ดํธ๊ฐ ํ์ํ ๋์ ๋ฌธ์ ๋ฅผ ํด๊ฒฐํฉ๋๋ค.
Core Features & Use Cases
- Unicode extended grapheme cluster ๊ธฐ์ค ๊ธ์ ์: Intl.Segmenter๋ฅผ ์ฌ์ฉํด ํ๊ธ/์๋ฌธ/์ด๋ชจ์ง ๋ฑ ์กฐํฉ ๋ฌธ์๋ฅผ โ๊ทธ๋๋กโ ๊ธฐ์ค์ผ๋ก ์ธ์ด ์ค์ฐจ๋ฅผ ์ค์
๋๋ค.
- ์ค ์ ๊ณ์ฝ ๊ธฐ๋ฐ ๊ณ์ฐ: CRLF, LF, CR, U+2028, U+2029๋ฅผ ์ค๋ฐ๊ฟ 1ํ๋ก ๊ณ์ฐํ๋ฉฐ ๋น ๋ฌธ์์ด์ 0์ค๋ก ์ฒ๋ฆฌํฉ๋๋ค.
- ๋ฐ์ดํธ ์ ๋์ ์ฐ์ถ(UTF-8 ๋๋ NEIS ํ๋กํ): ์ค์ UTF-8 byte ๊ธธ์ด ๋๋ NEIS ๊ท์น(ํ๊ธ 3B, ASCII 1B, ์ค๋ฐ๊ฟ 2B, ๊ธฐํ๋ UTF-8 fallback)์ผ๋ก ์ ์ถ์ฒ ์๊ตฌ์ ๋ง์ถฅ๋๋ค.
Quick Start
AI์๊ฒ ์ง๊ธ ์
๋ ฅํ ํ
์คํธ์ ๋ํด default ํ๋กํ ๊ธฐ์ค์ผ๋ก ๊ธ์ ์, ์ค ์, UTF-8 ๋ฐ์ดํธ ์๋ฅผ JSON์ผ๋ก ์ธ์ด ๋ฌ๋ผ๊ณ ์์ฒญํ์ธ์.