평가자 매뉴얼

화면 위쪽에는 지금 몇 번째 문항인지(n / 전체)와 완료·남은 문항 수, 진행률 막대가 보여요. 그 아래에는 지금 비교하는 기준의 이름과 설명이 나오고, 그 기준으로 견줄 후보자 2명의 이름·소속/직위·약력이 카드 2개로 나란히 놓여요.

문항은 기준마다, 그리고 후보자 조합마다 하나씩 준비되어 있어요. 순서와 좌우 배치는 평가자마다 무작위로 정해져 고정되므로, 다시 들어와도 늘 같은 순서로 보여요.

두 후보자 이름 사이에 놓인 막대를 움직여 판단을 표시해요. 막대는 가운데(동일)에서 시작해, 더 적합하다고 고른 쪽으로 뻗어 나가요. 왼쪽 후보자 이름은 주황색으로, 오른쪽 후보자 이름은 남색으로 표시되어 있어, 막대가 뻗은 쪽과 이름 색을 맞춰 보면 지금 어느 후보 쪽으로 기울어 있는지 바로 알 수 있어요.

⤢

막대 아래 눈금에는 6단계의 말이 붙어 있어요 — 동등 조금 약간 뚜렷하게 매우 압도적으로입니다. 값을 옮기면 그 아래에○○이(가) ○○보다 [단계] 더 적합합니다처럼 문장으로도 뜻이 표시돼요.

• 눈금의 숫자(1~9)는 몇 배 더 낫다는 배수가 아니라 세기의 눈금이에요. 정말로 압도적인 차이라고 느껴진다면 망설이지 말고 끝값(9, 압도적으로)까지 옮겨도 돼요.
• 실수로 값을 넣었다면 슬라이더 아래의 이 문항 초기화로 그 문항만 비울 수 있어요.

슬라이더를 움직이면 잠시 후 자동으로 저장됩니다. 슬라이더 아래 왼쪽의 저장 표시가저장 중…에서 자동저장됨으로 바뀌는 것으로 확인해요. 따로 누르는 저장 단추는 없어요.

한 번에 다 마치지 않으셔도 돼요. 창을 닫았다가 같은 메일 링크(또는 8시간 안의 같은 접속)로 다시 들어오면 지금까지 답한 내용이 그대로 남아 있고, 이어서 답하시면 돼요.

저장이 안 될 때

저장 자리에 빨간 글자로 뜨는 문구가 2개 있고, 뜻이 서로 달라요.

• 평가가 진행 중이 아니라 저장할 수 없습니다. 담당자에게 문의해 주세요 — 평가 기간이 끝났거나 아직 시작되지 않았어요.
• 세션이 만료되었습니다. 링크를 다시 요청해 주세요 — 8시간의 접속 시간이 지났어요.

두 경우 모두 화면에서 스스로 되돌릴 수 없습니다. 담당자에게 새 링크를 보내 달라고 요청해 주세요(9절).

화면 아래 문항 목록 (남은 n)을 누르면 전체 문항 목록이 펼쳐져요. 목록 맨 위에 완료·전체 문항 수가 함께 표시되고, 목록의 문항을 누르면 그 문항으로 바로 이동해요.다음 미응답으로 이동은 지금 보는 문항 다음의 첫 미응답 문항으로 건너뛰어요.

⤢

모든 문항에 답해야 화면 아래에 일관성 확인하고 제출하기가 나타나요. 아직 남은 문항이 있으면 그 자리에는 남은 문항 수만 보여요.

모든 문항에 답하면 일관성비율(CR)을 보여 주는 화면으로 넘어가요. CR은 같은 기준 안의 여러 판단이 서로 앞뒤가 맞는지를 나타내는 값이에요. 예를 들어 A가 B보다 낫고 B가 C보다 낫다고 답했는데 C가 A보다 훨씬 낫다고 답했다면, 그 어긋남이 CR에 반영돼요.

⤢

화면은 기준마다 판정을 따로 붙여요 — 표시된 기준값 이하면 양호, 그다음 기준값 이하면 주의(수정을 권함), 그 기준값을 넘으면 재검토 필요예요. 기준값은 고객사 설정에 따라 다르므로, 화면에 나온 숫자를 그대로 따릅니다. 비교 대상이 2명뿐인 기준은 CR을 계산하지 않고 미적용으로 표시돼요.

재검토가 필요한 기준은 어떤 두 후보자 사이의 판단이 서로 어긋나는지도 함께 짚어 주므로, 그 문항을 눌러 값을 다시 살펴볼 수 있어요.

CR 확인 화면 아래에 남기고 싶은 의견이 있으면 종합의견란에 적을 수 있어요(선택 사항). 제출하기를 누르면 평가가 제출되었습니다라는 화면으로 바뀌고, 제출 완료 안내 메일을 보내 드려요.

제출한 뒤 고칠 수 있나요

한 번 제출하면 스스로 다시 열어 고칠 수 없습니다. 다시 접속해 문항을 바꾸려 해도이미 제출이 완료되었습니다. 변경하려면 담당자에게 재평가를 요청해 주세요라는 안내만 떠요.

담당자가 재평가를 요청하면

담당자가 사유를 밝히고 재평가를 요청하면, 그 순간 기존 제출은 이력으로 남고 최종 집계에서 곧바로 빠지며, 새 접속 링크가 담긴 안내 메일을 다시 보내 드려요. 그 링크로 다시 들어가 문항을 고치고 CR을 다시 확인한 뒤 제출하시면 돼요(이번에는 제출 2회차처럼 횟수가 붙습니다).

마감된 평가가 다시 열리기도 해요

담당자는 마감한 평가의 마감을 해제할 수 있어요. 해제되면 평가가 다시 진행 중이 되어, 아직 제출하지 않았다면 이어서 답해 제출할 수 있고, 이미 제출했다면 담당자의 재평가 요청을 받은 뒤에 고칠 수 있어요. 어느 경우든 안내 메일 없이 상태만 바뀌기도 하므로, 담당자의 연락을 확인해 주세요.

평가가 진행되는 동안 담당자(관리자)가 보는 화면에는 누가 인증했는지, 어디까지 진행했는지, 언제 마지막으로 접속했는지, 제출했는지만 나옵니다. 어떤 슬라이더 값을 골랐는지, 어떤 후보자를 더 적합하다고 봤는지는 진행 중에도 그 화면 어디에도 나오지 않습니다.

평가가 마감된 뒤

• 이 평가가 익명 평가로 설정되어 있다면, 마감 뒤에도 관리자는 개인별 점수 · 판단 · CR· 종합의견을 볼 수 없습니다. 집단(전체를 합친) 결과만 볼 수 있고, 이 제한은 평가가 끝난 뒤에도 계속 유지됩니다.
• 익명 평가가 아니라면, 관리자는 평가자별 점수 · CR · 종합의견을 표로 볼 수 있습니다. 다만 그 표에는 이름이 아니라 무작위로 매겨진 코드(평가자 1,평가자 2…)만 붙습니다. 종합의견도 같은 방식의 코드에만 묶여 나옵니다.
• 따로 등록된 결과조회자가 있다면, 그 사람이 볼 수 있는 범위는 관리자가 정한 설정에 따라 다릅니다. 전체면 위와 같이 코드가 붙은 평가자별 결과까지, 요약만이면 코드도 없이 누구의 것인지 짝지어지지 않은 종합의견 목록만 볼 수 있습니다.

링크가 만료됐거나 이미 썼다고 나오면

화면에는 스스로 새 링크를 요청하는 기능이 없습니다. 담당자(관리자)에게 새 링크를 다시 보내 달라고 요청해 주세요. 담당자가 진행 모니터링 화면에서 알림을 다시 보내면 새 일회용 링크가 담긴 메일을 받으실 수 있어요.

평가 기간이 끝난 것 같다면

화면 위쪽에 현재 이 평가는 진행 중 상태가 아닙니다. 값을 바꿔도 저장되지 않을 수 있습니다라는 안내가 떠요. 담당자에게 문의해 기간을 확인해 주세요.

CR이 높다고 나오면

6절에서 설명한 대로, 같은 기준 안의 판단들이 서로 앞뒤가 맞지 않는다는 신호예요. 화면이 짚어 주는 후보자 쌍을 다시 살펴보고, 필요하면 값을 조정한 뒤 다시 CR을 확인해 주세요.

제출한 뒤 실수를 발견했다면

스스로 다시 열 수 없습니다(7절 참고). 담당자에게 재평가를 요청해 달라고 말씀하시면, 담당자가 재평가를 열어 준 뒤 새 링크로 다시 고쳐 제출할 수 있어요.