지침에서 제기된 모든 임상 문제의 답이 잘 수행된 임상시험에서 나온 객관적인 근거를 통해 얻어지는 것은 아니다. 또, 근거마다 차이가 있을 수도 있고 일부에서는 근거가 부족할 수도 있다. 이런 경우, 한두 명의 전문가 의견을 구하는 것으로는 불충분할 수 있다. 왜냐하면 최적의 전문가가 누구인지 모를 수 있고, 한 사람이 진료지침과 관련된 모든 사항에 대해 전문가로서 의견을 내기 어려우며, 나아가서는 한두명의 의견으로는, 진료지침의 최종 사용자들의 신뢰를 받기 어렵다는 점 때문이다.

이에 대안으로 풍부한 경험과 전문지식이 있는 임상전문가가 여러 명 모여, 다같이 타당한 권고안을 도출할 수 있다. 여러 전문가가 현실을 판단하고 대안을 내놓을 때 더욱 신뢰를 얻을 수 있다. 이처럼, 합의도출은 진료지침에 대한 확실한 근거가 부족할 때 보완하기 위해 사용할 수 있는 방법이다. 중요한 것은 합의 도출을 타당한 근거 대신 사용해선 안된다는 것이다. 진료지침을 개발하는 데 있어 타당성과 근거의 중요성이 강조되면서 진료지침 개발은 권고안과 그것을 뒷받침하는 근거의 질(Quality)간 긴밀한 연결성을 강조하고 있다. 따라서 진료지침 개발은 일차적으로는 적절한 근거를 기반으로 이를 해석하고 적용하여야 한다. 합의 도출은 근거가 있는 경우에, 이를 무시하고 사용해서는 안된다.

합의 도출 과정은, 의견을 모아 방침을 결정하는 것이지, 새로운 과학 지식을 생산하는 것이 아니다. 합의도출 과정은 최선일 경우에는 공동의 합의점을 찾아 제시할 수 있다. 하지만, 동료간 진료(peer practice)에 대한 의견의 정도를 제공할 수 있다.
또한, 합의안 도출 방법론은 어떤 부분을 동의하고, 어떤 부분을 동의하지 못하는지 가려낼 수 있다. 또한 합의도출 과정에서 제기되는 쟁점들을 향후 연구가 필요한 영역이라는 점에서 연구의 우선순위로 제시할 수 있는 수단이 될 수 있다.

• 비공식적 합의도출론

  비공식적 방법은 전문가 여러 명이 함께 모여, 매우 적은 정보와 정해진 형식을 바탕으로 문제를 논하는 방법이다. 이러한 방법의 큰 문제점은, 첫째, 목소리 큰 한 두 사람에 의해 집단을 주도할 수 있다는 점, 둘째, 다양한 의견이 매우 중요함에도 만장일치를 강요한다는 점이다. 이러한 문제를 해결하기 위해 공식적 합의론이 대두되었다.

• 공식적 합의도출

  공식적인 합의 도출 방법론은 다음과 같은 가정에 기초한다(Murphy등).

  • - 충분한 숫자 : 개인의 결정보다는 집단의 결정이 잘못될 가능성이 적다.
  • - 권위 : 집단의 결정이 개인의 결정보다는 권위를 인정 받는다.
  • - 합리성 : 여러 가지 가정에 대해 토론하고 공격받으면서 결정이 합리적으로 개선될 가능성이 커진다.
  • - 통제된 과정 : 구조화된 공식 과정을 통해 집단 의사 결정의 부정적인 측면이 배제될 수 있다.
  • - 과학적 신뢰성 : 공식적인 방법론을 사용하므로서 과학적 방법의 요구 사항을 충족시킨다.

  현재 주로 사용되고 있는 공식적 합의 도출 방법은 ‘델파이법’, ‘명목집단기법(Nornial group technique, 이하 NGT)’, ‘합의도출회의’의 세 가지이다. 그 이외에 staticised group, Social judegment analysis, structured discussion 등이 있다. 1950년대에 처음으로 델파이법이 도입되었고, 1960년대에 명목집단기법이 도입되었으며 1970년대에 미국 NIH에 의해 합의도출 회의가 도입되었다.

  이들 여러 기법들은 다음과 같은 측면에서 차이가 난다.

  • - 우편 설문지를 쓰는가?
  • - 각 개인이 독립적인 결정을 ‘개별적으로’ 하는가 그리고 만일 그렇다면 비밀보장은 어느 정도 이루어지는가?
  • - 각 집단간 대면 접촉이 이루어지는가, 만일 그렇다면 그것은 구조적인가?
  • - 각 참여자의 견해를 어떻게 종합하는가?

  각 개인의 판단을 결합하는 방법은 크게 함축적인 방법(implicit)과 명시적인 방법(explicit)으로 구별할 수 있다. 함축적인 방법은 질적인 방법이나 단순히 계량적 방법(투표와 같은)을 이용한다. 명시적 방법은 좀 더 복잡하며 수학적 방법(평균이나 분산과 같은)에 따라서 여러 결정을 경합하는 통계적인 방법을 이용한다. 합의도출 회의는 주로 함축적인 방법에 의존하고 델파이나 NGT는 명시적이고 수학적인 기법을 기용한다.

  <표 10-1>에는 세 가지 방법이 요약되어 있다. 이러한 차이는 대부분 가정이나 목적이 달라서 생긴다. NGT나 델파이와는 달리 합의도출 회의는 특정 문제의 토론에 있어 공청회(public forum)에서 해당 문제에 대한 토론 방법을 위해 개발된 것이다. 반면 델파이 방법이나 NGT는 여러 전문가로부터 집단 결정을 유도해 내는 과정을 강조한다.

  

  델파이법

  델파이 방법은 1950년대 RAND회사에서 예측 방법으로 개발하였다. 델파이란 이름은 그리스에서 신탁을 하는 장소를 말하며 델파이에서는 미래를 예측하는 능력이 있다고 믿었다. RAND 회사는 주로 새로운 의학 기술에 대한 전문가 의견을 취합하기 위해 이 기법을 개발하였는데, 이 기법은 주로 기술평가, 교육, 우선순위 결정 임상진료지침 개발 등에 이용되고 있다. 다음과 같은 주요한 특징을 갖는다.

  • - 익명성
  • - 구체화된 피드백
  • - 반복성 (수차례 반복하고, 개인은 자신의 의견을 바꿀 수 있다.)
  • - 통계적 기법 사용

  델파이 방법의 원래 모습은, 첫 단계로 자료를 기반으로 작성한 설문지를 패널리스트들에게 보내 의견을 묻는다. 이 단계를 변형하여 예비라운드 조사가 이뤄지기도 하는데, 패널리스트들을 초청해 이들의 의견을 들어서 나온 자료를 제공할 수도 있다.

  이후 라운드에선, 여러 번 회의를 통해 참가자에게 다른 집단 구성원들의 의견을 전달하고, 그들의 의견을 바꿀 기회를 준다. 처음에는 패널리스트들에게 통계상의 수치만 제공하였으나, 이를 변형하여 참가자들의 의견을 제공하기도 하였는데, 이는 더합당한 의견을 도출할 수 있다고 생각되기 때문이다. 라운드 반복은 의견합치에 도달하거나(사전에 정의된 수준), 안정성이 생길 때까지(패널리스트들 의견이 더 이상 변하지 않을 때) 또는 사전에 결정된 회수에 도달할 때까지 계속된다.

  그동안 대부분의 합의 방법에 대한 지침은 명목집단기법 또는 의견합치 개발회의방법으로 만들어졌고, 델파이는 복잡한 주제보다는 목록의 우선순위를 위해 사용해왔다. 그럼에도 델파이를 진료지침 개발을 위해 사용하는 추세가 느는 이유는, 많은 수의 사람들에 대한 의견을 받을 수 있기 때문이다. 즉, 명목집단기법에서는, 최대9-12 명의 패널리스트가 있으나, 델파이 연구에는 3~3000범위의 참가자가 가능하다. 다수가 참여하여 함께 만든 진료지침은 수용성이 높은데, 이는 진료지침을 실행할 때 도움이 된다. 또한, 곳곳에 퍼져 있는 참가자들이 한 군데 모일 필요가 없다. 국가적으로 수용 가능한 진료지침을 만드는 것이 목표라면, 이는 큰 장점이 될 수 있다.

  이상의 배경으로, 지침을 개발하는데 델파이 기법이 사용되고 있으며 <그림10-1>은 델파이 방법의 수행단계를 나타내고 있다.

  

  NGT(명목집단기법)

  명목집단기법의 개별 참가자는 자신의 의견을 각자 자유롭게 기록한다. 그 의견을 하나하나씩 차례로 목록에 기록한다. 각자 하나씩 아이디어를 차례로 모으면, 진행자는 그것을 목록에 기입한다. 그 후, 참가자는 각 아이디어에 대하여 논하고, 각자 개인적으로 그 판단을 기록하거나, 투표를 하기도 한다. 심도 있는 토론을 거쳐 투표를 행할 수도 있다. 그 후 각 개인의 판단은 집단 판단 도출을 위해 통계적으로 처리된다.

  이 방법의 개발자들은 비공식적 기법과 다르게 공식적 기법을 사용함으로써, 한,두 가지 아이디어가 아닌, 여러 사람의 아이디어와 활발한 토론을 이끌어 낼 수 있는 점을 장점으로 내세운다. 모든 참가자들은 아이디어를 낼 기회를 얻기 때문에 소수에 의해 토론이 지배될 가능성이 적고, 다만 의견을 조율할 수 있는 숙련된 중재자가 필요하다.

  RAND 방법론

  이러한 NGT 방법에 대해 몇 가지 변형이 이루어졌다. 가장 대표적인 것으로 임상진료 지침에서 많이 쓰는 modified NGT가 있다. 이는 RAND 회사에서 1970-1980년대에 개발한 것이다. 그 과정은 다음과 같다.

  • - 주제 선정

    대부분 RAND 방법론은 내과적 혹은 내과적 수기의 적절성에 쓰이며 다음과 같은 기준으로 선정한다.

    • 대부분 RAND 방법론은 내과적 혹은 내과적 수기의 적절성에 쓰이며 다음과 같은 기준으로 선정한다.
    • 상당한 정도의 이환률과 사망률과 연관되어 있는 수기
    • 상당한 자원을 소비하는 수기
    • 지역에 따라 사용 변이가 심한 수기
    • 사용에 논란이 있는 수기
  • - 적응증(시나리오) 목록 개발과 정의

    진료지침을 개발하는 과정에서 이용되는 공식적 합의 방법은 모두 단서(Cue)를 이용한다는 공통점이 있다. 단서는 집단 구성원들에게 결정을 할 때 고려하도록 요청 받는 지시 사항 혹은 범위(dimension)을 말한다. 예들 들어 적절한 치료에 대한 결정을 할 경우 우선 질병의 심각도를 고려해야 할 것이다. 그밖에 환자의 나이, 성, 동반 질환도 고려하여야 한다. 참여자들에게 cue는 시나리오 혹은 vignette(상황 설명도)의 형태로 제시된다. 참여자들에게는 여러 개의 시나리오가 제시되게 되며 이들은 모두 다른 임상 상황을 담고 있다. 그리고 참여자들은 각 상황에 맞는 치료 결정을 선택하게 된다.

    우선 특정 상황에서 환자에게 의사 결정을 할 때 중요한 요인의 개념(혹은 cue)을 반영하는 일련의 적응증에 대해 정의한다.

  • - 전문가 패널

    전문가 7-15인을 초대한다. 이들 전문가들은 임상적 전문성, 영향력, 지역적 위치 등을 조건으로 하여 참여자들로 선택하게 된다. 혹은 이들은 서로 다른 전문 분야의 학술적 혹은 지역사회 진료 전문가 영역을 대표할 수 있다. 집단 결정은 일정 부분 참여자의 전문성을 반영한다. 얼마나 광범위한 전문가 집단으로 구성할지에 대해 결정하는 과정에서 개인을 선별할지 여부가 결과에 큰 영향을 미친다는 직접적인 근거는 없다. 하지만 목표 대중이 집단에 속한 사람을 신뢰하는지 그리고 적절한 의견 폭을 잘 반영하는지 여부가 중요한 역할을 할 가능성이 크다.

  • - 평가 과정

    정의와 적응증의 구조(시나리오)에 대해 동의하면 참여자들은 9점 척도(1= 극단적으로 부적절하다. 9= 극단적으로 적절하다)로 등급을 매긴다. ‘적절하다’는 것은 평균 환자에서 예상되는 건강상 이득이 예상 위험보다 상당히 큰 간격을 두고 더 크다는 것이며 그 중재를 하는 것이 가치가 있고 중재가 대체 치료 방법보다 우월하다는 것이다.

  • - 적절성 평가

    적절성에 대한 최종 등급화는 두 단계 과정의 결과이다. 적응증들에 대해 우선 독립적으로 토론 없이 등급을 매긴다. 집단은 다시 모여서 이들 등급들을 모은 결과에 대해 토론한다. 토론 후 각 참여자는 독립적이고 비밀보장이 되는 분위기에서 다시 토론한다. 중간값이 적절성 점수에 쓰인다. 동의 혹은 비동의는 이산 분포를 이용한 통계적 정의에 따른다. 9명일 경우 동의는 두 명 이하가 3점 구역(1-3, 4-6, 7-9) 밖에 존재한다. 비동의는 3 명 이상이 7-9점에 있고 다른 3명 이상이 1-3점에 위치하는 경우로 정의한다. 이들 둘을 제외한 경우는 equivocal(척도의 중간에서 합의) 혹은 부분 동의로 간주한다.

  RAND법에서는 위의 평가 과정을 거쳐서 적절성을 평가한다. 적절성의 기준은 다음과 같다.

  • - Appropriate :중간값이 7-9이며 비동의가 없다.
  • - Inappropriate : 중간값이 1-3이고 비동의가 없다.
  • - Uncertain : 중간 값이 4-6이거나 비동의가 있다.

  합의 개발 회의

  미국 NIH(National Institute of health)에서 개발한 방법으로 현재까지 100개 이상의 주제에 대해 회의가 이루어졌으며 캐나다나 영국 등에서도 진료지침 개발에 이용된다. 10명 정도의 위원으로 위원회가 구성되며 며칠간 공개 회의 형식으로 모임을진행한다. 이때 여러 관심집단이나 전문가 집단이 근거를 제시하며 이들은 위원회의 일원이 아니다. 제시된 근거에 따라 합의를 시도한다.

  의사 결정을 위해 합의회의를 개최한다. 위원회는 재판의 배심원과 같이 근거에 대해 듣고 질문한다. 청중에서 질문을 할 수도 있다. 배심회의 같이 비공개 회의에서 토론하고 최종 결정을 내린다. 위원회는 합의에 도달하려 노력하지만 소수의견이나 대체 의견을 존중하여 합의에 도달하지 않을 수도 있다.

많은 방법론적 이슈들로 인해, 그러한 문제들이 제대로 해결되어 정립된 방법론은 현재까지 없으며 공식적인 합의도출 과정과 함께 향후 해결되어야 할 과제로 남아있다. 그러나 합의도출기법이 타당한 ‘답변’을 도출했는지를 측정할 수 있는 방법들이 있다.

Murphy와 동료들은 합의도출 방법의 타당성을 시험할 수 있는 다섯 가지 방법을 제안했다. 첫번째, 도출된 의견합치를 ‘gold standard(이 문맥에서는 진정한 대답)'에 대응해 시험할 수 있다. 예를 들어, 개인 집단이 답을 모르는 질문(답은 존재하는)을 받으면, 집단 의견합치 방법이 1인의 작업방식에 비해 ‘진리’에 도달할 가능성이 더 높다. 특정 상황을 다룰 ‘진정한’ 또는 ‘정확한’ 방법이 알려지지 않은 진료지침의 환경에서, 이 접근은 확실히 도움이 되지 않는다.

타당성을 시험하는 두 번째 방법은 그 방법의, 미래를 예측하는 능력이다.(예상이 현실화 되었는지 여부) 진료지침의 경우, 진료지침에서 권고하는 접근을 확신하거나, 반박하는 근거가 나타날 것이다. 그러나 진료지침이 쓰여진 시기의 지식 상태를 고려할 때, 이는 결정이 최선이 아님을 의미하지 않는다. 따라서 이 또한 이 문맥에서 유용한 검사 방법은 아니다.

세 번째 방법은 ‘동시에 발생하는 타당성’이다. Merrick과 동료들은 전문 패널의 소견을 현행 문헌에서 나올 수 있는 최상의 근거와 비교하였고, 그들이 거의 동일하다는 점을 발견했다. 진료지침 개발의 경우, 합의도출과정을 이용하는 이유는 사용가능하고 온전한 근거가 없을 때 권고안을 만들기 위해서이다.

네 번째로, 합의도출의 ‘내재적 논리’를 결정의 일관성을 측정하기 위해 검토할 수 있다(한가지 결정이 이전, 이후 결정들과 꼭 맞는가?). Merrick과 Hunter 그룹은 둘 다 도출한 의견합치를 통해 도달한 결정들의 내재적 논리를 살펴보았고, 한 가지 미세한 불일치를 제외하고는 내재적으로 일관됨을 발견했다. 이 타당성 검사 방법은 권고안이 논리적 순서를 따라야 하므로, 진료 지침에 적용할 수 있다. 따라서 이는 진료지침이 ‘실행’되고 임상의가 그것을 사용하기 위한 필수조건이다.

지금까지 논의된 타당성 측정은 도출한 의견합치가 본질적으로 진정한가를 살펴보는 과정이다. 마지막 접근방법은 지침이 시행에 들어갔을 때의 결과를 검토하는 것이다. 진료지침개발의 주요 목표는 환자진료를 개선하는 것이므로, (일반적인 제 2의 목표로 비용을 감소하고 자원을 더 잘 활용하기 위함) 타당성에 대한 간접적 측정은 확실히 가장 중요하다. 따라서 환자의 발병률, 사망율, 만족감, 전문 직원의 만족과 자부심, 포함 비용은 지침의 타당성검사를 위해 지침이 실행되기 이전, 이후에 모두 측정될 수 있다.

진료지침이 이용되는 범위, 즉 그것이 지역·국가 수준에서 얼마나 영향력이 있는가를 측정하는 것이, 결과 측정과 매우 긴밀한 연관이 있다. 이는 타당성의 간접 목표로 이용될 수 있다. 그러나 실제로 지침이 이용되는 범위는 진료지침의 타당성보다 진료지침의 보급과 마케팅에 더욱 관련되어 있다. 따라서, 진료지침 내 합의도출기반 요소들의 타당성을 평가하는 유일한 방법은 결과에 미치는 진료지침의 효과를 측정하는 방법이다. 이는 몇몇 진료지침들에서 적용이 된 바 있으며 향후 실제 실행하는 진료지침들에 대해 적용될 필요가 있다.