점수 너머 — '누가 답했는가' vs '무엇에 관한 질문인가'

같은 회사, 같은 질문지. 결과는 이렇게 나옵니다.

“우리 회사는 실수해도 안심하고 말할 수 있다.” 임원 평균 4.3점 / 직원 평균 2.1점

같은 회사가 맞나 싶을 정도의 차이. 이게 바로 인식 갭(perception gap)이고, 조직문화 진단에서 가장 중요한 신호입니다.

많은 회사가 조직 진단을 하고 나서 “평균 3.5점이니 보통이네요”라고 말합니다. 그런데 평균 3.5점은 두 가지일 수 있습니다.

• 모두가 3.5점: 인식이 일치하는 조직
• 임원 4.5, 직원 2.5: 평균은 같지만 두 세계로 분열된 조직

후자는 평균값으로는 보이지 않습니다. 그래서 진단할 때는 누구의 응답인지까지 같이 봐야 합니다.

이걸 그냥 ‘필터’로 두지 않고 결과 테이블의 골격으로 박은 게 우리 시스템의 핵심 결정 중 하나였습니다. 모든 응답은 두 축으로 나뉘어 집계됩니다.

• SUBJECT (발송대상) — 누가 답했는가. 응답자 자신의 분류 (직급=경영진, 부서=생산팀 등)
• EVALUATOR (분석대상) — 무엇에 관한 질문인가.“리더에 대한 응답”인지 “동료에 대한 응답”인지

여기에 사업장(SITE)까지 곱하면 SITE × SUBJECT × EVALUATOR 의 cartesian. 모든 응답이 8개 카테고리의 어딘가에 떨어집니다.

• “경영진이 본 경영진” (자기-평가)
• “작업자가 본 리더” (아래에서 위)
• “리더가 본 작업자” (위에서 아래)
• “울산공장에서 리더가 본 작업자”
• …

같은 응답이라도 이 cartesian 으로 자르면 “누가 누구를 어떻게 평가했는가”가 분리되어 보입니다. 인식 갭은 평균값이 아니라 이 트리의 노드 사이 점수 차이에서 드러납니다. 평균만 보는 회사가 못 보던 것을 보여주는 거죠.

객관식 점수는 빠르고 깔끔합니다. 그런데 결정적인 약점이 있어요. “3점”이 무엇을 뜻하는지 아무도 모릅니다.

• “그럭저럭이다”라는 의미일 수도
• “별로지만 모나게 보이긴 싫다”는 정치적 회피일 수도
• “잘 모르겠다”는 무관심일 수도

척도 점수는 증상입니다. 진짜 원인은 주관식에 있습니다.

조직문화 설문 마지막에 늘 있는 “기타 자유롭게 의견을 남겨주세요.” 정작 가장 솔직한 데이터인데, 1,000명·5,000명이 되면 아무도 읽지 못합니다. 그래서 LLM 에 맡기는데, 첫 시도였던 Map-Reduce 방식은 청크별로 키워드를 뽑고 합치다 보니 컨텍스트가 끊겨서 비슷한 표현이 다른 키워드로 흩어졌습니다.

지금 쓰는 방식은 Iterative Refinement입니다. 청크를 직렬로 보면서 누적 키워드 풀(20개)을 계속 갱신·병합하다가, 마지막 단계에서 TOP 10 으로 좁힙니다. 컨텍스트가 끝까지 살아있어야 “회의가 많다”는 표현 100가지가 같은 주제로 묶입니다.

집계 결과의 각 노드(전체 / 테마 / 서브테마 / 단계 / 행동)마다 AI 분석을 따로 붙입니다. 한 분석에는 다섯 가지가 다 들어갑니다.

• 총평
• 강점 1~3개
• 약점 1~3개
• 개선점 — 현 수준에서 약점을 보완할 방향
• 도약 가이드 (Leap Guide) — 다음 단계로 올라가기 위한 본질적 변화

AI 는 읽는 사람을 대체하지 않습니다. 읽을 수 없던 양을 읽을 수 있게 만들어줄 뿐이에요. 5,000개 응답을 12개의 주제로 묶어주면, 그제야 사람이 그 12개를 진짜로 읽을 수 있게 되는 거죠.