M4 맥미니 24GB 로 헤르메스 에이전트 랑 로컬 LLM 모델 돌려본 체험기

 

헤르메스 에이전트 로고 로고 잘 만들었네

 

결론부터

헤르메스 에이전트 자체는 좋으니 체험해보자

하지만 AI 비용을 공짜로 쓰겠다고 비싼 맥미니에 로컬 LLM 돌릴 필요는 없다.
(로컬 LLM 의 성능은 처참하다)

상용 LLM 서비스 로 돌려도 질문당 가격이 6-7원 수준이다.
할일 관리하고 하루에 한번 뉴스모아본다던가 하면 한달 내내 써봐야 만원 넘기기 쉽지 않다.

그러니 대화당 비용쓰는데 민감해하지말자
나중에 사는 하드웨어가 성능은 훨씬 좋다.

내 맥미니 ... 

내가 구매한 M4 맥미니  / 램 24gb / 저장공간 256gb 을 2월에 110만원 주고 샀다.

당시에 램 값이 오를꺼라는 전망이 있어서 사긴했다.

시간이 지나 M6 맥미니가 나왔고 실제로 30% 정도 올랐다.
하지만 성능도 30% 정도 올라서 도찐 개찐 이 되었다.

하드웨어는 성능이 늘지 않지만 상용 AI 서비스들은 성능도 좋아진다.
가격이라던지 답변의 품질이 말이다.

공개 LLM 모델들은 1년마다 업그레이드 되지만 더좋은 모델은
더많은 하드웨어를 원한다 결국 빨리 하드웨어를 장만하는 짓은 바보짓이다.

그냥 상용 AI 의 API 서비스의 크레딧을 구입해서 충전해가며쓰면 된다.

 

제미나이 3.5-flash-lite 를 연결해서 썼는데 일단 속도가 맥미니 로컬로 돌리는것 보다 비교할 수 없이 빠르다.
5배 정도 차이난다.

답변의 품질도 불편함이 없었고 로컬 LLM 의 답변 품질은 처참했다.
qwen-3.5-8b 를 사용했다. 다른 모델드도 서봤지만 더 안좋았다.

개인은 이렇게 쓰면되고

 

개인말고 회사는 대안이 없다.

이미지에 적힌 소버린 AI 에서 소버린 이란 외부에 의존하다 한순간에 국경폐쇄 같은 문제를 당하면 대처가 불가능하다는 경고의미한다.

회사에서 좋은 AI 를 돌리려면 회사의 정보를 AI 에 넣어야하는데
민감한 정보들어가기 마련이다. 이런 정보를  외부 서비스에 넣다보면 AI 업체가 이 데이터를 사용(학습)해버린다.

그래서 절대적으로 내부 로컬 LLM 을 돌리는게 맞다.

이 경우 맥미니 같은거 말고 훨씬 좋은걸로 (천만원 정도에 메모리가 256gb 넘는 것) 을 쓰면 속도면에서 제미나이랑 비슷한 수준으로 동작할 것으로 보인다.

개인이라면 유튜브에 온갖 하드웨어팔이 광고에 현혹되지말고 상용 API 서비스 이용하자

돌려보다 도움이 안되면 안쓰면 되니까.
생각보다 에이전트 돌려야할 만큼 큰일을 하는 사람은 많지않다.

그리고 유튜버들이 자랑스럽게 떠는 AI 비용으로 월 100만원 썼니 하는 말은
정부 지원금이 섞여있다.

정부지원금은 나중에 중고로 팔수 있는 하드웨어 같은 부분은 비용처리가 되지 않는다.

그래서 구독료 형대로 지원금을 소비하고
"하면된다." 식의 영상으로 유튜브 광고 수익을 내서 현금으로 먹는 구조로 돌아간다.

거기다 AI 협찬 광고도 있고 그러니 일단 작은 금액으로 맛을보고 PC 도 N100 이나 라즈베리파이 같은거 사서 돌려보고

도움이 된다면 돈을 더 쓸지 고민하자 

쓸모없다면 구매한 미니PC 로 홈서버랑 웹서버 같은걸 돌려롭는것도 좋을꺼 같다.