LLM 서비스 내 헤비 유저 사용 행태 분석에 기반한 인터페이스 제안

Proposal of User Interface Based on Heavy User Usage Analysis in LLM Service

- 진종현, 이소영, 박채린, 연명흠(2024)

- 한국디자인학회 Archives of Design Research, vol.37. no.4

연구배경 및 목적

LLM(Large Language Model)은 논리적 추론, 질문 응답, 코드 생성 등의 다양한 산업 전반에서 활용이 확대되고 있다. 하지만 LLM 연구의 전반적인 방향성 및 분석 대상은 서비스 시스템을 통한 가용성 및 효율성에 치중되어 있으며, 서비스 내 사용자에 대한 행태 분석에 기반한 인터페이스 연구는 미비한 실정이다. 본 연구는 앞서 언급한 업무 맥락 중심의 사용자 경험 연구에 목적을 두어, LLM 서비스의 사용 능력과 기술 수용 주기 모델(TAM)을 통해 세분화된 3가지 사용자 집단 간의 사용 행태를 분석하고, 분석 과정에서 획득한 인사이트를 바탕으로 경험 개선을 위한 신규 인터페이스와 기능을 제안한 뒤 실효성을 검증하고자 한다.

연구방법

문헌 연구를 통해 ‘TAM(Technology Acceptance Model)’과 ‘서비스 사용 능력’을 LLM 서비스 사용자를 세분화하기 위한 두 가지 기준으로 수립하였다. 이를 바탕으로 7점 Likert 척도 기반의 사전 설문을 수행하여 인터뷰이들을 포지셔닝 맵 내에 정량적으로 배치하였다. 이후 사전 설문의 개괄적인 이용 행태 문항 중 ‘업무 및 학습 맥락 내 LLM 서비스 의존도’를 기준으로 인터뷰이들을 3가지 그룹으로 정의하였다.

세분화된 세 그룹의 이용 행태 및 목적을 분석하기 위해 사용자들의 서비스 이용 화면을 이미지로 취합하여 대화 중 프롬프트의 활용 및 대화 히스토리 개설 행태를 분석하였고 해당 분석을 통해 정의된 집단별 주요 행태 기저의 멘탈 모델을 이해하기 위해 총 20명을 대상으로 In-depth 인터뷰를 진행하였다.

인터뷰 인사이트를 기반으로 도출된 UX 전략을 인터페이스 레벨로 구체화한 뒤 영상으로 제작하였고 이후 정규성을 만족하는 33명의 테스트 대상자를 표집하여 전후 경험의 개선 정도를 정량적, 정성적으로 분석하기 위한 사용성 테스트를 진행하였다. 최종적으로 개선안의 유의성을 검증하기 위하여 통계검정을 수행하였다.

연구결과

조사를 통해 정의한 3집단 중 타깃 집단인 Heavy 유저 그룹의 경우 비교군인 Middle, Novice 유저에 비해 LLM 서비스를 통한 대화 품질의 기대 수준이 높다는 기저의 멘탈 모델을, 주요 행동인 프롬프트 사용 행태 및 신규 대화창 개설 행태 등을 통해 정의하였고 이를 바탕으로 3가지 개선 전략(1. 히스토리의 Hierarchy 제안 및 대화 정보 범위 선정, 2. 맥락 정보를 포함한 대화 저장하기 및 가공하기, 3. 프롬프트 가이드라인 제공 및 답변 수정 기능 제안)을 제안하였다. 개선 전략 2의 경우 TAM(Technology Acceptance Model)의 평가 척도인 PU(지각된 유용성)에서 유의함을 보였지만, PEU(지각된 사용 용이성)의 경우 유의함을 보이지 않았는데, 이는 테스트 진행 시 타깃 유저 표집의 한계와 개선 자극물의 구동 적극성이 떨어짐이 원인이 되었음을 사후 인터뷰를 통해 확인하였다. 반면 개선 전략 1과 3의 경우 PU와 PEU 모두에서 통계적 유의성을 보임과 동시에 사후 인터뷰를 통해 긍정적 피드백을 확인할 수 있었다.