AI

“토큰이 부족합니다”“토큰을 충전해주세요” AI를 사용하기 전에는 이런 문장을 보고도 별생각 없이 지나쳤을 것이다. 하지만 최근들어 AI를 직접 사용하기 시작하면서, 이 ‘토큰’이라는 단어가 앞으로 꽤 중요한 의미를 갖게 될지도 모른다는 생각을 하게 되었다 토큰이란 무엇인가 AI는 사람처럼 문장을 통째로 이해하는 것처럼 보이지만, 실제로는 문장을 잘게 나눈 단위로 처리한다. 이때 사용되는 단위가 토큰이다 단어 하나가 하나의 토큰이 … 더 읽기