오픈소스 AI 모델 - Aya 23

Cohere에서 새로운 오픈소스 모델을 발표했습니다. 코히어에서 출시한 Aya 23은 23개 언어를 지원하는 새로운 최신 다국어 모델입니다. https://huggingface.co/spaces/CohereForAI/aya-23

올라마에도 올라와 있어서 aya:8b 모델을 다운로드하여 맥북에서 테스트 해봤습니다.

개인적으로 현재까지 잘 사용하고 있는 EEVE-Korean-10.8B 모델과 Aya 23 모델을 비교해봤습니다.

LLM 평가 결과 비교표

질문	EEVE 10.8b	Aya-23 8b	평가
세계 2차 대전의 주요 원인에 대해 설명해 주세요.	- 민족주의와 군국주의 - 경제적 불균형과 대공황 - 외교 정책 실수 - 독재자 등장과 공격성	- 제1차 세계대전의 여파로 인한 경제적, 정치적 불안정 - 독일 나치의 침략과 확장주의 - 일본의 제국주의 팽창	EEVE는 좀 더 다양한 원인을 제시했지만, aya는 핵심 원인을 간략하게 잘 설명했다.
기후 변화의 주요 원인과 그에 따른 영향을 설명해 주세요.	- 온실가스 배출 증가 - 삼림 파괴 - 도시화 - 해수면 상승 - 극단적인 날씨 사건 - 생물 다양성의 변화	- 인간 활동으로 인한 온실가스 배출 - 지구 온난화 - 해수면 상승 - 극단적인 기상 현상 - 생태계 파괴 - 식량 부족	EEVE는 원인을 좀 더 구체적으로 제시했고, aya는 영향을 좀 더 다양하게 제시했다.
"한적한 마을에 사는 소년은 어느 날 숲에서 이상한 빛을 발견했다..."를 이어서 창의적인 이야기를 만들어 주세요.	- 고대 유적 발견 - 신비한 생물들과의 만남 - 특별한 능력 부여	- 신비로운 마법사의 오두막 - 소년의 꿈속으로 들어가는 마법사 - 숨겨진 재능과 열정 발견	둘 다 나름의 창의적인 스토리를 제시했지만, aya의 이야기가 좀 더 흥미롭고 독창적이다.
새로운 기술이 일상생활에 미칠 긍정적인 영향을 상상해서 설명해 주세요.	- 인공지능 & 기계 학습: 개인 맞춤형 학습 - 원격의료: 접근성 향상 및 비용 절감 - 전기/자율주행 자동차: 공해 감소 및 교통 혼잡 해결	- 증강 현실(AR): 교육, 의료, 엔터테인먼트 분야에서 활용 가능 - 예시: 복잡한 개념 시각화, 실습 훈련 개선, 몰입감 있는 게임 등	EEVE는 현실적인 기술 변화를 예측했고, aya는 AR이라는 특정 기술에 집중하여 흥미로운 활용 사례를 제시했다.
배열된 숫자 리스트에서 중복된 숫자를 제거하는 알고리즘을 설명해 주세요.	- 세트(Set)를 사용하여 중복 제거 - 시간 복잡도: O(n), 공간 복잡도: O(1)	- 리스트 정렬 후, 인접한 중복 숫자 제거	EEVE는 효율적인 알고리즘을 제시했고 시간/공간 복잡도까지 언급했다. aya의 답변은 단순하지만, 정렬이 필요하다는 점을 명시하지 않아 부족하다.
다음 수학 문제를 풀어주세요: 3x + 5 = 20. x의 값을 구하세요.	- 단계별 풀이 과정 제시 - x = 5	- 단계별 풀이 과정 제시 - x = 5	둘 다 문제를 정확하게 풀었고, 풀이 과정도 잘 보여준다.
시작과 끝이 같은 단어로 이루어진 시를 짧게 지어주세요.	- 짧고 간결한 시 - 운율이나 의미적인 연결 부족	- 4행시 형태 - '여명'을 반복하여 사용하여 주제 강조	aya의 시가 좀 더 시적인 형태를 갖추고 있고, 반복을 통한 주제 강조도 돋보인다.
다음 영어 문장을 한국어로 번역해 주세요: 'The quick brown fox jumps over the lazy dog.'	- "빨리 뛰는 갈색 여우가 게으른 개를 뛰어넘네."	- "빠른 갈색 여우가 게으른 개를 뛰어넘는다."	둘 다 자연스러운 번역을 제공했지만, aya의 번역이 좀 더 매끄럽다.
왜 해가 동쪽에서 뜨고 서쪽에서 지는지 설명해 주세요.	- 지구의 자전 방향 언급 (동쪽에서 서쪽)	- 지구의 자전 방향 언급 (동쪽에서 서쪽)	둘 다 지구의 자전 때문에 해가 동쪽에서 뜨고 서쪽으로 진다는 사실을 정확하게 설명했다.
인공지능의 윤리적 문제에 대해 토론해 주세요.	답변 없음	- 개인정보 보호 - AI 편향 - AI 무기화 - 자동화의 고용 문제 - 해결 방안: 투명성, 책임성, 공정성, 인간 중심 접근	aya는 인공지능 윤리 문제의 다양한 측면을 잘 설명했고, 해결 방안까지 제시했다. EEVE는 답변하지 못했다.

총평

전반적으로 EEVE와 aya 모두 훌륭한 성능을 보여주었지만, aya:8b가 좀 더 뛰어난 창의성, 언어적 유창함, 논리적 사고 능력을 보여주었습니다. 특히, aya는 주어진 주제에 대한 깊이 있는 이해와 풍부한 어휘력을 바탕으로 좀 더 설득력 있고 흥미로운 답변을 생성했습니다. 작은 모델임에도 불구하고 aya는 8b으로서 뛰어난 한국어 성능을 가졌습니다.

_{Posted using Obsidian Steemit plugin}