관리자 매뉴얼

평가 목록에서 새 평가 만들기를 누르면 개설 화면이 열립니다. 평가명 · 목적 · 대상 조직· 대상 직위 · 안내문 · 시작일시 · 마감일시를 넣고, 익명 평가 여부와 기준 가중치 산정 방식(직접 입력 또는 관리자 쌍대비교)을 정합니다. 그 아래에는 결과 계산에 관련된 설정(최고·최저 점수 제외, CR 재검토 기준값 초과 응답 제외, 중간결과 공개, PDF 출력 허용)이 있습니다.

조직장 선정이든 팀 리더·PM 선발이든, 무엇을 뽑는 평가인지는 평가명과 대상 직위에 그대로 적으면 됩니다.

⤢

필수 항목은 평가명·시작일시·마감일시와 평가자 신원 공개 방식입니다. 저장하면 새 평가는평가기준 화면으로 바로 넘어가고, 이미 있는 평가를 고치는 중이라면 같은 화면에 머무릅니다. 저장하면 화면 위쪽에 저장 알림이 잠깐 뜹니다.

개설 화면을 오가는 길

• 설정 · 기준 · 후보자 · 평가자 · 결과조회자 · 미리보기는 위쪽 탭으로도, 각 화면 아래의 이전 다음으로도 오갑니다. 아래 단추에는 3 / 6단계처럼 지금 어디쯤인지도 함께 표시됩니다.
• 이동은 저장이 아닙니다. 고친 내용을 저장하지 않은 채 다른 화면으로 가려 하면저장하지 않은 내용이 있습니다라는 확인 창이 뜹니다. 브라우저를 닫거나 새로 고칠 때도 마찬가지입니다.

평가자 신원 공개 방식

실명 평가(관리자가 평가자별 응답을 볼 수 있음)와 익명 평가(개별 평가내용을 누구도 볼 수 없음) 중 하나를 반드시 골라야 저장됩니다 — 기본값이 없습니다.

⤢

익명을 고르면 확인 모달이 뜹니다. 모달은 관리자가 평가자의 인증 · 진행 · 완료 상태는 계속 볼 수 있지만, 특정 평가자의 점수 · 쌍대비교값 · CR 상세 · 종합의견 같은 개별 평가내용은 평가가 끝난 뒤에도 열람할 수 없다고 약속합니다. 즉 누가 응답했는지는 계속 보이지만, 그 사람이 무엇을 골랐는지는 관리자도 영영 볼 수 없습니다.

최고·최저 점수 제외

기본값은 미적용입니다. 이 설정은 등록된 평가자 인원에 따라 안내가 달라집니다.

기준 가중치 산정 방식(직접 입력 / 관리자 쌍대비교)은 다음 절인 평가기준 화면에서 실제로 입력하는 방식을 정합니다. 저장한 뒤에도 개설 화면에서 다시 바꿀 수 있습니다.

후보자를 비교할 기준을 정하는 자리입니다. 개설 화면에서 고른 방식에 따라 화면이 둘로 나뉩니다. 직접 입력(기준마다 비율을 숫자로 넣는 방식)과 관리자 쌍대비교(기준끼리 둘씩 견주어 어느 쪽이 얼마나 더 중요한지 표시하는 방식)입니다. 기준은 화면 위쪽에 적힌 개수 범위(고객사 설정에 따라 다를 수 있습니다) 안에서 등록합니다.

직접 입력

⤢

기준마다 이름 · 설명 · 고려사항과 비율(%)을 넣습니다. 비율의 합계가 100.00%가 되어야 저장할 수 있고, 화면 아래에 지금 합계가 얼마인지 계속 표시됩니다. 동일 비율 자동배분을 누르면 기준 수만큼 균등하게 나눠 채워 줍니다.

5:3:1:2처럼 비로 생각한 값을 그대로 적었다면 비율로 맞추기를 누릅니다. 지금 적힌 비를 유지한 채 합계를 100.00%로 맞춘 결과를 먼저 보여 주고, 이 값으로 채우기를 눌러야 칸에 들어갑니다. 100으로 나누어떨어지지 않아 남는 0.01은 소수점 아래가 큰 기준부터 나눠 붙습니다.

관리자 쌍대비교

⤢

기준 쌍마다 슬라이더를 움직여 어느 쪽이 얼마나 더 중요한지 표시합니다(1.0~9.0, 0.1 단위). 화면 아래에 CR(일관성비율)이 등급 문구와 함께 표시됩니다. 그 값이 좋은지 나쁜지의 기준선(양호 / 재검토 필요)도 화면에 표시된 값을 그대로 따릅니다 — 고객사 설정값이라 이 매뉴얼에 특정 숫자를 못 박지 않습니다.

• 기준이 2개뿐이면 CR 자체를 계산하지 않는다고 화면이 알려 줍니다.
• 기준을 지우면 그 기준이 들어간 쌍대비교 값도 함께 정리됩니다.

비교 대상이 될 후보자를 등록하는 자리입니다. 후보자마다 이름·소속·직위·사번·업무 이메일· 소개(마크다운)를 넣습니다. 필수 항목은 이름 · 사번 · 업무 이메일입니다.

⤢

• 사번과 업무 이메일은 비공개입니다. 평가 화면에는 나오지 않고, 결과조회자를 등록할 때 후보자와 겹치는지 확인하는 데만 쓰입니다.
• 소개(약력)는 평가자에게 그대로 보입니다. 저장한 뒤 미리보기에서 실제로 어떻게 나오는지 확인하는 편이 낫습니다.
• 후보자도 기준과 마찬가지로 화면 위쪽에 적힌 개수 범위 안에서 등록합니다.

실제로 쌍대비교를 수행할 평가자를 등록하는 자리입니다. 이름 · 소속 · 직위 · 이메일 · 메모를 넣고, 필수 항목은 이름과 이메일입니다. 평가자는 화면에 적힌 최대 인원(고객사 설정에 따라 다를 수 있습니다)까지 등록할 수 있습니다.

⤢

이메일은 초대 링크가 배달되는 목적지입니다. 이메일 칸에서 커서를 빼면 그 도메인이 메일을 받을 수 있는 곳인지 확인해, 받을 수 없으면 칸 아래에 ○○ 도메인은 메일을 받을 수 없습니다라는 경고가 뜹니다. 다만 저장은 막지 않습니다.

평가에는 참여하지 않지만 결과만 보게 할 사람을 등록하는 자리입니다. 이름 · 소속 · 직위 · 이메일과 함께 사번(확인용), 공개 범위, PDF 출력 허용 여부를 정합니다.

⤢

결과조회자는 평가가 마감되기 전에는 결과를 볼 수 없습니다.

평가자가 실제로 볼 화면을 관리자가 미리 확인하는 자리입니다. 화면 위쪽 배너에미리보기 — 입력값은 실제 평가에 저장되지 않습니다라고 표시되며,데스크톱 모바일로 폭을 바꿔 볼 수 있습니다.

⤢

모바일은 화면을 CSS로 줄이는 것이 아니라 실제 좁은 화면 크기의 창(iframe) 안에 같은 화면을 다시 띄웁니다. 그래서 휴대전화에서 보이는 모습과 정확히 같습니다. 배너의기준 수정 후보자 수정으로 바로 그 화면으로 건너가 고칠 수 있습니다.

개설한 평가는 시작해야 평가자에게 초대를 보낼 수 있고 응답도 저장됩니다. 시작 단추는 미리보기 화면 아래쪽의 평가 시작 구역에 있습니다.

⤢

아직 시작 조건을 채우지 못했다면 이 자리에 아직 시작할 수 없습니다와 함께 이유 목록이 뜹니다. 실제로 화면이 막는 조건은 다음 5가지입니다.

• 기준 개수가 화면에 표시된 범위를 벗어난 경우
• 기준 가중치의 합이 100%가 아닌 경우
• 후보자 수가 화면에 표시된 범위를 벗어난 경우
• 평가자가 1명도 없거나, 화면에 표시된 최대 인원을 넘은 경우
• 마감일을 넣지 않았거나, 마감일이 이미 지난 경우

조건을 모두 채우면 평가 시작을 누를 수 있습니다. 누르면 확인 창이 뜨고, 그 안에지금 초대 메일 보내기 체크상자가 함께 있습니다.

1. 체크하면 시작과 동시에 등록된 평가자 전원에게 참여 안내가 나갑니다.
2. 체크하지 않으면 아무것도 보내지 않습니다. 초대는 나중에 진행 모니터링 화면에서 따로 보냅니다.

평가가 진행 중일 때 누가 어디까지 왔는지 확인하고, 필요하면 알림을 다시 보내는 자리입니다. 평가자마다 상태(미인증 평가 전 진행 중 재검토 필요 완료 재평가 요청됨)와 발송 · 인증 · 마지막 접속 · 완료 시각이 표에 뜹니다.

⤢

이 화면에서 보이는 것은 누가 제출했는지뿐이고, 무엇을 골랐는지는 어디에도 나오지 않습니다. 개별 평가자의 판단으로 이어지는 연결은 이 화면에 없습니다.

같은 화면 아래에는 집단 중간결과 표가 따로 있어, 조건(중간결과 공개 설정과 최소 응답 인원)이 맞으면 후보자별 종합점수와 기준별 집단 CR을 집단 단위로만 미리 볼 수 있습니다. 여기에도 개인 이름이나 개별 판단은 나오지 않습니다.

알림 다시 보내기

• 미완료 전원 알림 발송과 개별 행의 알림은 평가가 진행 중일 때만 눌립니다. 완료한 평가자에게는 알림이 가지 않습니다.
• 메일 내용은 받는 사람에 따라 저절로 갈립니다 — 아직 초대받은 적이 없는 사람에게는 초대 안내를, 이미 받은 적이 있는 사람에게는 미완료 독촉을 보냅니다.

평가 마감을 누르면 확인 창이 뜨고, 마감하면 평가자는 더 이상 응답을 고칠 수 없습니다 (다음 절). 마감된 뒤에는 이 화면 위쪽에 마감 해제가 나타납니다.

진행 모니터링에서 평가 마감을 누르면 평가자의 응답 수정이 막히고 최종 결과가 계산됩니다. 결과 화면은 이때부터 볼 수 있으며, 평가 목록·이동 막대의 결과로 들어갑니다.

마감은 관리자가 직접 합니다

• 모두가 제출하지 않아도 마감할 수 있습니다. 마감을 누른 그 시점까지 제출된 응답만으로 계산해 확정합니다. 아직 내지 않은 사람은 그대로 빠지며, 결과 화면 맨 위의반영 응답자 수가 몇 명이 반영됐는지 알려 줍니다.
• 마감하면 알림 발송과 재평가 요청이 잠깁니다. 덜 걷혔다면 마감 전에 진행 모니터링에서 독촉 메일을 먼저 보내는 편이 낫습니다.

마감 해제

잘못 눌린 마감을 물리거나, 마감한 뒤에 평가자를 더 받아야 할 때가 있습니다. 진행 모니터링 화면의 마감 안내 아래 마감 해제를 누르면 확인 창이 뜨고, 해제 사유를 넣어야실행됩니다(사유는 감사기록에 남습니다). 해제하면 평가가 다시 진행 중으로 돌아갑니다.

⤢

• 결과와 리포트가 다시 감춰집니다 — 결과조회자도, 관리자도 볼 수 없습니다.
• 평가자가 다시 응답할 수 있고, 알림 발송·재평가 요청도 다시 열립니다.
• 다시 마감하면 그 시점의 응답으로 결과를 새로 계산합니다. 숫자와 순위가 달라질 수 있습니다. 이미 계산된 결과는 지워지지 않고 기록으로 남습니다.
• 보관기간은 다시 마감한 시점부터 새로 셉니다.
• 파기가 예약된 평가는 해제할 수 없습니다. 파기 지시를 먼저 취소해야 합니다(13절).

결과 화면 읽기

⤢

화면 맨 위에 계산 시각·반영 응답자 수·알고리즘 버전과 함께 CR 초과 제외·최고최저 제외 적용 여부, 익명 평가 여부가 요약됩니다. 아래로 후보자별 종합점수, 후보자별 기준 기여도, 후보자별 기준 강점, 기준 가중치, 일관성비율(CR) 분포, 제외 설정 적용 전후 비교, 기준 가중치 민감도 분석이 차례로 나옵니다.

후보자별 기준 강점(레이더)

축이 기준, 다각형 하나가 후보자입니다. 값은 가중치를 곱하지 않은 그 기준 안의 우선순위라, 「어느 후보자가 어느 기준에 강한가」를 그대로 읽을 수 있습니다. 점선 고리는 후보자가 모두 같을 때의 자리이고, 색은 후보자에 붙습니다. 원그래프·누적막대에서 색이 기준에 붙는 것과 다릅니다. 기준이 3개 미만이면 그리지 않고 그 사실을 대신 적습니다.

개인별 결과가 나오는 조건

• 익명 평가가 아니면 맨 아래에 평가자별 결과와 종합의견 표가 추가로 나옵니다. 이때도 이름이 아니라 코드로만 구분됩니다.
• 익명 평가라면 개인별 결과 표 자체가 나오지 않고, 익명 평가로 설정되어 있어 개인별 결과는 표시하지 않습니다. 집단 결과만 확인할 수 있습니다라는 안내만 남습니다.
• 아직 마감되지 않았다면 이 화면 대신 평가가 아직 마감되지 않았습니다. 마감 전 집단 중간결과는 모니터링 화면에서 확인할 수 있습니다가 뜹니다.

결과를 인쇄용 문서 형태로 정리해 보여 주는 자리입니다. 이동 막대의 리포트·PDF를 누르면 표지·개요/목적·대상 조직/직위/기간/참여현황 · 기준과 가중치 · 후보자 정보 · AHP 방법론과 척도 안내·집단 판단 통합과 CR·최고최저 제외 설명 · 종합점수와 순위 · 기준별 세부 결과·기여도· 기준 강점 · 가중치 · CR 분포 · 민감도 분석 · 전후 비교 · 개인별(또는 집단) 결과·버전 정보 순으로 문서 전체가 한 화면에 펼쳐집니다.

⤢

• 결과조회자가 이 화면을 볼 수 있는지는 PDF 출력 허용 설정과 평가 마감 여부로 정해집니다(6절).
• 개인별 결과가 나오는지, 집단 종합의견만 나오는지는 결과 화면과 같은 규칙(익명 여부·조회자 공개 범위)을 따릅니다.

이미 제출을 완료한 특정 평가자에게 다시 판단할 기회를 주는 기능입니다. 진행 모니터링 표에서 완료한 평가자 행의 재평가 요청을 누르면 사유를 넣는 창이 뜹니다(9절의 진행 모니터링 화면에서 함께 작동합니다).

창에는 재평가를 요청하면 기존 제출은 이력으로만 남고, 중간·최종 합산에서 즉시 제외됩니다. 평가자에게 새 링크가 담긴 안내 메일이 발송됩니다라고 안내됩니다. 재평가 사유는 필수이며 감사기록에 남습니다.

더 이상 필요 없는 평가를 완전히 지우도록 지시하는 자리입니다. 평가 설정 화면 아래쪽의이 평가 파기하기 구역에서 시작합니다. 되돌릴 수 없는 조작이므로 확인을 2번 거칩니다.

1. 파기 사유를 넣습니다. 필수이며 감사기록에 남습니다.
2. 확인란에 화면에 표시된 평가명을 공백까지 정확히 같게 넣습니다. 그래야30일 뒤 파기로 지시가 눌립니다.

지시하면 기준 · 후보자 · 평가자 · 응답 · 결과가 모두 삭제되고 파기했다는 기록만 남습니다. 다만 곧바로 지우지 않고 30일의 유예 기간이 주어집니다. 그동안 평가를 열면 관리자 화면 어디서나 빨간 배너가 함께 뜨고(파기 예정 — YYYY-MM-DD에 이 평가가 삭제됩니다 (D-n)), 그 배너의 파기 취소로 예약을 풀 수 있습니다.

CR이 높다고 나오면

쌍대비교 화면의 CR 문구가 다소 일관성이 낮습니다나 일관성이 낮아 재검토가 필요합니다라고 나오면, 값을 다시 살펴보라는 뜻입니다. 특정 기준 쌍의 판단이 다른 쌍과 논리적으로 맞지 않는다는 신호입니다. 무엇을 양호로, 무엇을 재검토 필요로 볼지의 기준값은 화면에 표시된 값을 그대로 따르면 됩니다.

평가자가 링크를 잃었다면

진행 모니터링 표에서 그 평가자 행의 알림을 누르면 새 일회용 링크가 담긴 안내 메일이 다시 발송됩니다(9절). 이미 완료한 평가자에게는 이 단추가 눌리지 않습니다.

기간을 넘겼다면

마감일이 이미 지난 상태로는 평가를 시작할 수 없습니다(8절). 시작 전이라면 평가 설정 화면에서 마감일시를 고쳐 다시 시작하면 됩니다. 이미 진행 중인 평가는 진행 모니터링에서평가 마감으로 직접 마감할 수 있습니다.

마감을 잘못 눌렀다면

진행 모니터링 화면의 마감 해제로 되돌릴 수 있습니다(10절). 사유를 넣어야 하고, 되돌리면 결과·리포트가 다시 감춰지며 평가자가 다시 응답할 수 있습니다. 다만 마감된 동안 내려받아 간 PDF는 회수할 수 없으니, 확인 창에 표시되는 이미 나간 것을 먼저 확인하고 결정해야 합니다.