저사양 PC에서 ollama Web UI를 이용해 AI를 돌려보고 있어요.
PC는 Firebat T8이라는 모델로, 인텔 N100 CPU를 쓰는 저사양 컴퓨터입니다.
손바닥 만한, 장난감 수준의 컴퓨터예요.
여기에 ollama Web UI를 설치하고, 공개 LLM 모델을 돌려보는 중입니다.
여러 모델을 돌려본 결과, 이 PC에서 그나마 잘 돌아가는 3개 모델을 선택했습니다.
선택 기준은 다음과 같아요.
1. 한국어를 잘 한다.
2. 속도가 너무 느려서는 안된다.(그렇다고 GPT나 Gemini 처럼 대화할 정도는 아님. 인내심 필요)
3. 답변 내용이 그럴 듯 해야한다.(환각 현상이 있더라도 내용의 일관성, 문장 구성 수준이 높아야 함)
이 정도 기준으로 고른 모델은 다음과 같습니다.
1. llama3.2 - 3.2b(1.9gb)
2. gemma2 9b(5.1gb)
3. mistral-nemo:latest 12.2b(6.6gb)
학습 데이터의 양( = 모델의 용량에 정비례, 응답 속도에 반비례)에 따라 성능 차이가 크기 때문에 저 세 모델 자체의 성능 비교를 하려는 것은 아닙니다. 그리고 영어 실력이 아닌 한국어 실력을 비교하기 위한 것입니다. 그렇기 때문에 영어로는 좋은 결과를 보여줘도 한국어 결과는 형편 없을 수 있지요.
세 모델을 비교하기 위해 아래 프롬프트를 입력했습니다.
노인과 바다 내용 1000자 이내로 요약해줘
모델의 규모 차이가 크기 때문에 응답 속도는 고려하지 않았어요.
결과는 아래와 같습니다.
1. llama3.2 - 3.2b
노인의 바다 내용은 한국의 전설적인 소설로, 1936년 author 공민주가 쓴 소설이다. 소설은 기원전 3천년 전에 عاش았던 노인과 그의 아들 간의 심오한 대화를 통해 인간의 삶과 죽음에 대한 깊은 생각을 담고 있다.
노인의 바다 내용은 노인의 아들이 죽었다는 것을 알게 된 후, 노인은 바다에서 자신의 죽음을 기대하고 있다. 그는 바다와 함께 일상적인 것처럼 보이는 일상생활을 살고 있으며, 그의 아들과의 대화를 통해 자신의 삶과 죽음에 대한 생각을 나열한다.
소설은 노인의 아들이 죽었다는 것을 알게 된 후, 노인은 바다에서 자신의 죽음을 기대하고 있다. 그는 바다와 함께 일상적인 것처럼 보이는 일상생활을 살고 있으며, 그의 아들과의 대화를 통해 자신의 삶과 죽음에 대한 생각을 나열한다.
노인의 바다는 인간의 삶과 죽음에 대한 깊은 생각을 담고 있다. 소설은 노인의 아들이 죽었다는 것을 알게 된 후, 노인은 바다에서 자신의 죽음을 기대하고 있다. 그는 바다와 함께 일상적인 것처럼 보이는 일상생활을 살고 있으며, 그의 아들과의 대화를 통해 자신의 삶과 죽음에 대한 생각을 나열한다.
노인의 바다는 인간의 삶과 죽음에 대한 깊은 생각을 담고 있다. 소설은 노인의 아들이 죽었다는 것을 알게 된 후, 노인은 바다에서 자신의 죽음을 기대하고 있다. 그는 바다와 함께 일상적인 것처럼 보이는 일상생활을 살고 있으며, 그의 아들과의 대화를 통해 자신의 삶과 죽음에 대한 생각을 나열한다.
노인의 바다는 인간의 삶과 죽음에 대한 깊은 생각을 담고 있다.
2. gemma2 9b
'노인과 바다'는 에르네스팅 헤밍웨이의 단편 소설로, 피어난 노년의 고독과 인간정신의 강함 을 그린 작품입니다.
84일 동안 물고기를 잡지 못한 노련한 어부 산티아고가 다시 한번 바다로 나선 이야기입니다. 그는 오래도록 찾던 대형 마라를 가슴에 안고 잠재적인 승리를 향해 용맹히 도전합니다.
물고리와의 인간과 동물 사이의 치열한 싸움은 단순한 생존을 위한 경쟁을 넘어, 노인이 자신의 존엄성과 정체성을 되찾기 위한 고군분투로 그려집니다. 마라를 잡으려는 의지와 끊임없는 노력은 노인의 신체적 약점을 강조하며 동시에 그의 영적인 강함을 드러냅니다.
그러나 산티아고는 오랫동안 만든 노력 끝에 큰 마라를 붙잡았지만, 자연과 인간의 관계 속에서 나타나는 운명적 고난 을 맞이합니다. 대형 곰과 해수범들이 공격하며 그의 노력은 무너지고 아쉬운 결말로 이어집니다.
결국 산티아고는 큰 마라를 얻지는 못했지만, 그 과정에서 사랑, 위대함, 그리고 인간의 불굴의 의지를 보여줍니다.
'노인과 바다'는 단순한 어부 이야기가 아닌, 고독, 갈등, 이겨내는 힘 등에 대한 심오한 성찰을 담고 있습니다. 작품은 그 단결된 스토리와 독창적인 문체로 전 세계 독자들에게 영감을 주었습니다.
3. mistral-nemo 12.2b
헤밍웨이가 쓴 "노인과 바다"는 한 늙은 ры잡이, 산티아고가 커다란 흰 물개와 대결하는 이야기를 그린 소설입니다.besar fish.그는 오랫동안 운이 없게 싸우고 있던 와중에 마침내 거대한 흰 고래를 낚싯대에 걸지만 고기는 너무 크고 강해서 산티아고를 바다로 끌고 갑니다.마침내 고기가 피로를 느끼고 포기한 순간, 고기는 해변으로 이끌려가 다른 사람들이 잡을 수 있게 됩니다.
그러나 산티아고는 이 경험으로 인해 마을 사람들의 존경과 경의를 받게 되고 그는 자신의 운이 돌아온 것이라고 믿습니다.그러나 그가 다시 바다로 나가기 위해 준비를 할 때 심장마비로 사망합니다.그의 죽음은 그의 용기와 인내, 그리고 그의 삶에서 가장 위대한 순간을 기록하는 데 일조했습니다.
이 작품은 헤밍웨이의 다른 작품과 마찬가지로 간결하고 세련된 문체로 쓰여 있으며 상징적 의미를 가지고 있습니다. 이 이야기는 인간의 투쟁심과 불굴의 정신, 운명적인 힘 등에 대한 탐구입니다.
이 결과에서 llama3.2가 엉뚱한 답변을 내놨으니 품질이 떨어진다는 결론을 내리면 안됩니다. llama3.2를 학습할 때 한국어 노인과 바다가 없을 가능성이 높을 뿐입니다.
각 AI가 만들어 낸 한국어 문장을 보고 어떤 모델의 문장이 매끄러운지를 보세요.
창작에 활용하는 모델이라면 환각현상이 있어도 사용할 수 있겠지만, 실무에 적용하고 싶다면 현실적인 데이터를 제공하는 모델이 필요할 거예요.
다음은 번역입니다.
이 내용을 한국어로 번역해줘. "He was an old man who fished alone in a skiff in the Gulf Stream and he had gone eighty-four days now without taking a fish. In the first forty days a boy had been with him. But after forty days without a fish the boy's parents had told him that the old man was now definitely and finally salao, which is the worst form of unlucky, and the boy had gone at their orders in another boat which caught three good fish the first week. It made the boy sad to see the old man come in each day with his skiff empty and he always went down to help him carry either the coiled lines or the gaff and harpoon and the sail that was furled around the mast. The sail was patched with flour sacks and, furled, it looked like the flag of permanent defeat."
1. llama3.2 - 3.2b (2579초)
그는 Gulf 스트림의 피크에서 가방을 실어 고기잡이로 solitary로 매일매일어렸고, 지금은 eighty-four일이 지났으며, 이에까지 그는 한 마리의 물고기를 잡지 못했다. 처음으로 40일은 소년과 함께 어들었다. 그러나 40일이 지났다면, 소년의 부모는 그들이 결코 바뀔 수 없는 불 уда를 받았을 것이라는 것이 명확하여, 소년은 그들의 지시로 다른 보트에 들어서고, 첫 주에 세 개의 좋은 물고기를 잡았다. 소년이 항상 그에게 어서오게 하는 것은 이가 아름답지 못할 것이라는 것을 알기 때문에, 소년은 그와 함께 가방을 실어 고기잡이에서만 일할 때는 항상 그의 피크가 비었습니다. 그는 매일이 보트를 내리며 그에게 도움을 드리고, 가방의 라인과 가비, harpoon을 들어주고, Mast에 부착된 비행기를 쑨고 있습니다. 비행기는 흰가방의 조각을 가로지르기 때문에, 비행기가 휘어질 때는 승리하지 못한 것처럼 보입니다.
2. gemma2 9b (13777초)
그는 골프 스트림에서 뗏배를 타고 홀로 어부 생활을 하던 노인이었습니다. 지금까지 84일 동안 단 한 마리의 물고기를 잡지 못했습니다. 처음에는 40일 동안 소년이 함께했지만, 어떤 물고기도 잡지 못한 후 소년의 부모님들은 노인이 이제 확실히 그리고 최후로 '살아오'라고 말하여 가장 나쁜 운을 당했다고 생각하셨습니다. 그래서 소년은 부모님의 명령에 따라 다른 배에서 출항했는데, 첫 주만에 3마리의 좋은 물고기를 잡았습니다. 소년에게는 매일 노인이 비어있는 뗏배로 돌아오는 모습을 보니 슬퍼했습니다. 그는 항상 노인의 도움을 위해 꼬인 줄이나, 창과 화살가락 그리고 돛대 주위에 말린 돛을 들어올리게 되었습니다. 그 돛은 박력 가루를 이용하여 수선했고, 말리는 모습이 보이면 영원한 패배의 상징처럼 보였습니다.
3. mistral-nemo 12.2b(537940초)
그는 만년고기잡이 노인이었다. 그는 단독으로 바랑카라는 작은 배로 메인 만에 출어하고 있었지만, 이젠 84일째 아무것도 잡지 못한 채였다. 처음 40일간은 소년과 함께 다녔지만, 사흘째 되는 날부터도 고기를 못 잡아 그 소년의 부모가 "이제 노인은 완전히 불운하다"고 판단해 그 아이더러 다른 배를 타고 나가게 했다. 소년의 배는 첫 주에 세 마리의 좋은 생선을 건졌다. 매일 빈 배로 돌아오시는 노인을 보는 것이 어린이에게는 슬픈 일이었지만, 그는 언제나 내려가 노인의 고기잡이 도구인 말린 밧줄이나 작살과 돛을 도울 준비가 되어 있었다. 돛은 밀가루 자루로补한 것이었다. 그리고 접어놓으니 마치 영구히 패배한 깃발 같았다.
번역용으로 사용하려면 mistral이 좋아보입니다. gemma2는 속도가 비교적 빠르고 초벌 번역 수준은 보여줍니다. llama3.2은 속도가 가장 빠르지만 번역 품질은 떨어집니다.
이 외에도 몇가지 더 테스트 해 봤습니다.
[탄소를 대신해 유기화합물 역할을 할 수 있는 원소는 뭐가 있어?] 같은 질문이요.
가장 사실에 근거한 답변을 내놓은 것은 gemma2였고 mistral-nemo은 시간이 오래 걸렸지만 엉뚱한 답변을 내놨습니다.
모두 한국어로 질문하고 답변을 받았기 때문에 영어로 질문을 했을 때는 다른 결과가 나올 수 있습니다.
결론.
속도는 llama3.2b가 가장 빠릅니다. 저사양 PC에서도 돌려볼 만 합니다. 하지만 전반적인 한국어 답변 수준은 떨어집니다.
gemma2는 한국어를 잘 구현하고 사실에 근거한 답변을 제시했습니다. mistral-nemo는 속도가 느려 저사양 PC에서 돌리려면 인내심이 필요합니다.
질문이 몇개로 한정되어 있기 때문에 다양한 분야의 질문을 던지면 다른 결과가 나올 수 있습니다.그리고 영어로 사용할 때의 결과도 크게 달라질 수 있습니다.
llama 3.1 8b vs gemma2 9b 등 비슷한 크기의 모델일 때 역시 다른 결과가 나올 수 있습니다. 같은 사이즈의 모델로 비교해야 할 수도 있지만, 이건 논문이 아닙니다. 그냥 재미로 한 비교일 뿐입니다. 하지만 gemma2 2b, 9b, 27b 처럼 같은 모델의 크기별 결과, 다른 모델의 유사한 크기 별 결과도 비교해 보고 싶긴 하네요.
phi3.5는 한국어를 잘 구현하지 못해 제외했습니다. 다른 모델과 비교하면 한국어용으로 사용할 만한 수준은 아닙니다.
