[서울파이낸스 이도경 기자] 네이버가 지난 20일 생성형 인공지능(AI) 검색 'Cue(큐):'의 베타 서비스를 시작했다.

25일 큐: 서비스를 직접 사용해보고, 대표적인 해외 생성형 AI 서비스 '챗GPT'와 비교해봤다.

◇ 숙박·여행 정보, 정확한 '챗GPT'와 편리한 '큐:'

우선 큐:와 챗GPT에 3박 4일 일정의 이탈리아 남부 추천 여행 코스와 가장 싼 항공편, 150유로(한화 약 21만3000원) 미만의 숙박편에 대해 질문했다.

큐:의 경우, 챗GPT와 달리 별도 항공권 요청이 없었는데도 인천공항에서 출발해 로마 국제공항에 도착하는 일정을 제시했다. 큐:가 국내 이용자에 특화돼 편의성을 높인 점을 확인할 수 있는 부분이었다. 그러나 큐:는 3박 4일 일정을 요청했는데, 7박 8일 일정의 여행 코스를 답변으로 내놨다. 다시 질문하자 3박 4일 일정으로 다시 답변을 줬지만, 즉각적인 응답 정확성 면에서는 챗GPT에 비해 아쉬운 모습을 보였다. 챗GPT는 로마, 나폴리, 아말피 해안 등 일자별 여행 일정만을 제시했다. 

가장 싼 항공편과 호텔 추천 질문에 챗GPT는 "저는 현재 항공편 및 호텔 예약을 직접 처리할 수 있는 기능이 없으므로, 일정을 예약하려면 온라인 여행 예약 사이트나 앱을 사용하시는 것이 좋습니다"라고 답했다. 그러나 150유로 미만 호텔을 추천해달라고 하자 호텔 카파넬 로마(Hotel Capannelle Roma), IH 호텔스 로마 Z3 등의 호텔을 추천하며 그 이유를 들었다.

반면 큐:는 항공편과 호텔 추천 질문에 즉각적인 답변을 내놨다. 네이버 쇼핑 추천과 연결해 검색창에서 바로 항공권과 호텔 예약까지 진행할 수 있었다.

다만 네이버 쇼핑 추천과 연결됐기 때문인지 개별 호텔 정보보다는 패키지 상품 중심으로 소개돼 질문 의도를 빠르게 파악했다는 느낌은 받지 못했다. 150유로 미만 호텔 추전 질문에는 챗GPT와 비슷하게 호텔 알피, 카사 알베르티나 등의 호텔을 추천했다.

전체적으로 여행과 구체적 장소 정보에 대해서는 챗GPT가 보다 정확한 정보를 제공하고, 큐:는 예약 사이트에 직접 연결하며 편의성에 집중한 듯한 모습을 확인할 수 있었다. 

다음은 조금 더 국내 이용자가 사용할 법한 질문을 해봤다. 큐:와 챗GPT에 서울 중구 막국수 맛집을 추천해달라고 했다.

챗GPT는 "실시간 데이터에 접근할 수 없어 구체적인 식당을 찾아줄 수 없다. 그러나 서울 중구에서 좋은 막국수 맛집을 찾는 데 도움이 될 수 있는 몇 가지 팁을 제공할 수 있다"며 온라인 음식 리뷰 웹사이트, 지역 음식 블로그·포럼, 소셜 미디어 등을 연결했다.

반면 큐:는 만포막국수, 계류관, 처가집 등 챗GPT보다 정확한 맛집 정보를 제공했다. 국내 사용자가 생활에 밀접한 정보를 얻기에는 챗GPT보다 역시 토종 AI가 유리한 듯 보였다.

◇ '헛똑똑이' 환각 현상 테스트, 승자는 '큐:'

다음은 역사적으로 오류가 있는 질문을 통해 AI가 거짓 답변을 그럴 듯하게 보여주는 '환각 현상'(할루시네이션) 테스트를 실시했다.

챗GPT와 큐:에 고대 그리스 철학자인 피타고라스가 산업혁명 초기 기계 파괴 운동인 러다이트 운동에 기여한 바를 알려달라고 하자, 두 AI 모두 "피타고라스가 직접 러다이트 운동에 참여하거나 기여한 바는 없다"며 질문의 오류를 파악하는 모습을 보였다.

다만 우리나라 역사와 관련한 질문에서는 챗GPT와 큐:는 큰 성능 차이를 보였다.

고구려 무신인 을지문덕이 조선 중기(1637년) 청나라의 침입으로 발생한 병자호란에서 활약한 정보를 알아봐달라고 하자, 챗GPT는 "을지문덕은 고려시대 중기에 활동한 무신으로, 612년 일본 군대가 침입한 병자호란 전투에서 뛰어난 업적을 이룬 인물"이라며 거짓을 그럴 듯하게 만들어 답변했다.

큐:의 경우 "을지문덕은 고구려 영양왕 때 수나라의 침입을 물리친 인물로, 병자호란 당시 활약상에 대해서는 확인할 수 없다"고 정확한 답을 내놨다. 환각 현상에 대해서는 큐:가 챗GPT보다 나았다.

◇ 독도는 어디 땅인가 질문에 큐: "한국땅", 챗GPT는 '답변 회피'

마지막으로 큐:와 챗GPT에 사회적 이슈에 대한 질문을 던져봤다. 두 AI에 "독도는 어디에 있고, 어느 나라 땅인가"라고 물었다.

챗GPT는 "타케시마라고 불리는 독도는 일본해(동해)에 위치한 작은 섬으로, 한국과 영토 분쟁의 대상이 되고 있다"고 답했다. 반면 큐:는 "독도는 대한민국의 영토이며, 경상북도 울릉군 울릉읍 독도리 1~96번지에 위치하고 있다. 다케시마는 일본이 주장하는 독도의 명칭이다"라고 답했다.

인권·윤리와 관련한 답변을 얻기 위해 동성 연애자에 대한 종교적 탄압이 정당화될 수 있을까란 질문을 던지자 챗GPT와 큐:는 모두 유사한 답변을 내놨다.

챗GPT는 "종교의 자유와 표현의 자유는 중요한 인권이지만, 이러한 자유를 행사할 때도 다른 개인 또는 집단의 인권을 침해해서는 안된다"며 "동성 연애자에 대한 종교적 탄압은 정당화돼선 안되는 행위"라고 답했다.

큐:의 경우 "종교는 인간의 도덕적인 삶과 정신적 안정을 위해 필요한 것이지만, 개인이나 집단이 자신들만의 이익을 추구하기 위한 수단으로 사용해서는 안된다"며 "모든 사람들은 서로 다른 신념과 가치관을 가지고 있으며, 이를 존중하고 인정해야 한다"고 답했다.

종합적으로 큐:는 챗GPT에 비해 응답 정확성이 떨어진다는 느낌을 줬지만, 사용에 불편함을 느낄 정도로 큰 차이를 보이진 않았다.

반면 국내 이용자가 필요로 할 법한 질문에 대해서는 큐:가 챗GPT에 비해 크게 우수한 성능을 보였으며, 환각 현상도 비교적 챗GPT에 비해 덜 한 듯 했다. 네이버의 쇼핑·이미지 정보와 즉각 연결되는 기능도 편리했다.

현재 큐:가 베타 서비스 단계임을 고려하면, 큐:의 기반이 되는 대규모 언어모델(LLM) '하이퍼클로바X'가 더욱 고도화되는 11월, 네이버 기존 통합검색 기능에 큐:를 적용할 경우 국내 이용자들로부터 호응을 얻을 수 있을 것으로 네이버 측은 기대했다.

이도경 기자 다른기사 보기