개발 연구에서 규범적인 논의

5.4b. 주관성과 수용가능/불수용가능편향

개발 연구에서 많은 연구의 도구적, 정책 지향적 또는 규범적 이탈 지점은 주관성과 편향의 문제를 제기합니다. 표 5.5는 연구 과정의 다양한 단계에서 의도적 및 비의도적 편향이 어떻게 발생할 수 있는지 보여줍니다. 중요한 주관성-객관성 문제는 DS 연구가 종종 규범적 문제와 관련되어 주관적 편향이 도입될 수 있음을 인정하는 것에 해당하며, 일부는 허용될 수 있고 일부는 확실히 그렇지 않습니다. 가능한 한 주관적 또는 규범적 위치성을 명시적으로 표시해야 하며, 데이터 수집, 분석 및 해석에서 이를 허용해야 합니다. DS 연구에서 엄격함의 평가는 연구자의 편향과 일치하는 방향으로 결과를 편향시키는 의도적인 오역 또는 누락을 구별하고(이는 허용될 수 없음), 가치(빈곤이 다차원 개념이라는 인식 등) 또는 데이터(이들은 허용될 수 있음)에서 편향을 인정하는 것을 포함합니다.
요컨대, 편향은 연구 과정에 의해, 연구자에 의해, 또는 연구자에 의해 도입될 수 있습니다. 이 점을 설명하기 위해 화이트는 '데이터 분석가'와 '데이터 마이닝가'라는 두 명의 연구자를 설명합니다:데이터 분석가는 데이터와 가장 일치하는 해석, 즉 데이터가 이야기를 말하게 하는 것을 찾고 있습니다. 데이터 채굴자는 자신이 무엇을 찾고 있는지 알고 있으며 찾을 때까지 계속해서 땅을 파냅니다. 그러고 나서 그녀는 멈추고 그것이 바로 그녀가 이야기하는 것입니다. 데이터 채굴자는 정량적 또는 정성적 데이터를 사용하여 집에 똑같이 있습니다. (화이트, 2002: 513)
화이트는 그의 정의에 따라 '데이터 마이닝'은 결론이 미리 결정되고 연구자가 이를 뒷받침할 증거를 찾는다는 점에서 본질적으로 주관적이거나 편향적이라는 사실을 의미합니다. 반면 편견을 가지려는 연구는 연구 문제에서 시작하여 연구자를 결론으로 이끌기 위해 증거를 수집합니다. 표 5.6은 데이터 마이닝이 무엇으로 구성되어 있는지에 대해 서로 다른 견해가 있음을 보여줍니다.
데이터 마이닝에 대한 화이트의 개념화를 보완하는 것은 데이터가 무엇을 다시 보내는지 또는 연구 문제나 질문과의 관계에 대한 명확한 개념 없이 많은 양의 데이터를 비선택적으로 조립하는 것입니다. 이러한 접근 방식이 편견에 대한 주장과 반드시 연관될 수는 없지만, 극단적인 형태에서는 분명 비체계적이고 엄격하지 않습니다. 체계적인 접근 방식과 엄격함이 결여된 또 다른 형태의 '연구'는 많은 수의 회귀 분석을 연구 질문이나 가설과 직접적인 관계 없이 비선택적이고 초점을 맞추지 않고 실행하는 것이며, 종종 행동-이루얼 관계에 대한 개념 없이 적절한 통계적 적합성을 찾는 것입니다(Kenny and Williams, 2001; Sala-I-Martin, 1997).

또 다른 문제는 몇 주(또는 심지어는 며칠) 동안 한 국가를 방문하여, 데이터의 수집과 수집에 전적으로 또는 부분적으로 책임이 있는 지역 통계학자와 연구원들의 노력에 대한 적절한 인정 없이, 데이터의 한계에 대한 이해나 고려 없이, 그리고 데이터가 관련될 수 있는 명확한 연구 질문이나 가설 없이, 많은 양의 (대부분 2차) 데이터를 수집하는 연구원들에 의해 대표됩니다. 그러나 데이터가 무엇을 나타내는지 또는 어떻게 수집되었는지에 관계없이, 데이터뱅크(인터넷 웹사이트에서 점점 더 이용 가능해지고, 선택적으로 '접속')만 사용하는 연구원들이 또 다른 범주에 속할 수 있습니다
개발 연구 내의 방법별 편향 문제의 맥락에서 고려해야 할 추가적인 제한 사항이 있습니다. 이러한 제한 사항 중 일부는 개발도상국뿐만 아니라 산업화된 국가의 연구에도 적용되지만 반드시 같은 정도 또는 같은 방식으로는 적용되지 않습니다. 예를 들어, 상위 영어 억양을 가진 인터뷰 진행자는 노동자 계층 응답자로부터 비공감적인 응답을 받을 수 있습니다. 인터뷰, 포커스 그룹 토론, 설문지 및 관찰과 같은 개발도상국의 주요 방법은 과소 보고 및 회상의 어려움 또는 응답자로부터 수집된 정보의 사용에 대한 우려로 인해 신뢰성과 타당성이 부족할 수 있습니다. 인터뷰어의 영향'은 질문자의 억양, 방언, 성, 나이, 계급, 교육 또는 외모와 같은 인터뷰어-연구자에 의해 만들어진 억제 및 인식에 의해 악화될 수 있습니다. 지역 사회 문화적 요인도 응답에 영향을 미칠 수 있습니다: 가장 또는 마을 지도자는 실제로 대상이 되고 있는 응답자를 대신하여 대답할 수 있습니다. 응답은 문화, 인터뷰에 참석한 사람, 또는 응답자가 인터뷰 시청자가 듣고 싶어한다고 생각하는 것에 의해 영향을 받을 수 있습니다.
연구자나 연구자에게 익숙하지 않은 언어로 진행되는 연구도 일련의 문제를 만듭니다. 수신된 의미와 의도된 의미가 다를 수 있으며, 번역에서 '숨겨' 있거나 잃어버린 많은 의미가 있을 수 있습니다. 연구자가 모든 관련 지역 방언을 배우는 것은 불가능하며, 이는 번역의 사회적 역학이 숨겨진 의미와 '말하지 않은' 것과 함께 중요한 고려 사항임을 암시합니다.
쉬운 답은 없습니다. Bujra(2006)는 '다른 문화'의 연구는 데이터 수집뿐만 아니라 분석 및 보급에도 번역 과정을 포함한다고 언급합니다. 그녀는 연구자들이 현지 언어에 대한 실무 지식을 목표로 하거나, 이것이 불가능한 경우 현지 연구 파트너가 번역가와 연구 팀의 구성원으로서 두 배가 될 것을 제안합니다. 이 접근법을 사용하면 연구 방법과 엄격함에 의해 제기된 문제에 대한 인식이 있는 사람과 현장 조사 전에 번역하는 것의 연구 과정과 양식에 대해 논의할 수 있습니다. 게다가, 연구자, 번역가와 연구자들 사이에 고려되어야 할 역동적인 관계가 있습니다. Bujra는 그 연구에 더 중요한 것이 무엇인지를 묻습니다 - 기술적으로 뛰어난 번역과 불완전하지만 내부자적인 해석?
카세트 또는 디지털 음성 녹음기는 인터뷰에서 사용될 수 있지만 이러한 방식으로 녹음되면 (물론 허가를 받아) 서면 메모와 비교하여 응답자가 다르게 대답할 수 있는지에 대한 문제를 제기합니다. 카메론(2004: 9)은 또한 연구자에게 번역 과정을 상기시키고 독자의 투명성을 돕기 위해 현지 언어를 번역과 병행하여 전사하고 포함해야 한다고 제안합니다.
2차 자료와 공식 문서는 많은 개발 연구의 주요 자료이며, 상자 5.8에 요약된 편향과 관련된 여러 가지 문제를 제기합니다. 정부와 주요 국제 기관(예: 국제 노동청(ILO), 국제 통화 기금(IMF), 세계 은행, 유엔 개발 계획(UNDP) 및 유엔 무역 개발 회의(UNCTAD)는 많은 수의 사회 및 경제 데이터를 포함하는 정기적인 연례 보고서를 발표합니다. 18 경제학의 많은 연구는 일반적으로 국민 소득 계정의 거시 데이터 또는 전자적으로 접근할 수 있는 가계 조사의 미시 데이터를 포함하여 이러한 자료의 2차 자료를 기반으로 합니다. 이러한 공개된 자료는 원본 데이터를 수집하는 비용, 시간 및 실행 가능성 때문에 사용됩니다. 그러나 이러한 관행은 연도 및 통계 시리즈 간의 비교 가능성, 국가 간의 비교를 포함한 여러 가지 근거로 '엄격한' 문제를 제기합니다. 이 자료를 수집하고 게시하는 기관(예: 세계 은행)은 이러한 많은 문제를 해결하기 위해 많은 노력을 기울이지만 관련된 프로세스를 모두 게시할 수는 없습니다.
대부분의 개발도상국에서 2차 데이터는 저렴하고 쉽게 구할 수 있으며 원시 데이터 테이프를 구입할 수 있는 경우가 많습니다. 한 국가 내에서 2차 데이터의 품질은 시간과 변화하는 정의 간의 일관성을 근거로 의심할 수 있습니다. 서로 다른 출처의 데이터를 결합하는 것은 매우 문제가 많습니다. 국가 간 비교 연구를 위해 모든 데이터는 완전한 일관성을 달성하려면 모든 국가 및 모든 데이터 시리즈 간에 표준화되어야 합니다.예를 들어, UNDP 인간개발보고서와 세계은행 세계개발보고서에 제시된 모성사망률 데이터가 항상 일치하는 것은 아님을 알 수 있습니다. 그러나 상황은 개선되고 있습니다(OECD의 파리 21 '21세기 발전을 위한 통계 분야 파트너십', 세계은행의 '인구 및 건강 조사', 유니세프의 다지표 클러스터 조사 등). 이 섹션에서 논의한 한계가 중요하지만 데이터 가용성이 제한되고 정책 입안자들이 이미 존재하지만 의문이 있을 수 있는 통계에 기반한 연구 결과에 대해 조급해하는 경우 실무 연구자들에 의해 다소 '학문적'인 것으로 간주될 수 있는 위험이 있습니다.
DS 연구는 주로 2차 문서에 의존합니다. 많은 개발 연구가 사내에서 수행되거나 특정 정책 옵션을 알리는 직접적인 목적으로 조직에 의해 위탁됩니다. 이러한 사내 또는 위탁 연구는 유사한 정책 관련 주제와 관련된 더 많은 학술 연구와 함께 살펴볼 수 있으며, 그 중 일부는 사내 연구를 수행하거나 특정 연구 프로젝트를 수행하도록 외부 기관에 위탁하는 동일한 조직에서 자금을 지원받을 수 있습니다. 이러한 조직은 순수한 학문적 기준으로 연구에 자금을 지원하려고 할 때에도 필연적으로 특정 정책 의제를 가지고 있습니다. 위탁 연구의 결과는 위탁 기관에 의해 '소유'된 것으로 간주될 수 있기 때문에 때로는 지적 재산권 제한을 받습니다. 지식 자체가 개발의 중요한 기반이 될 정도로 세계 은행과 같은 기관에 의한 개발 지식 독점은 매우 경쟁적이며 이는 상자 5.9.22에 요약되어 있습니다. Woolcock(2007: 64-5)은 최근 DS에서 석사 학위 학생들을 가르쳐야 하는 문제에 대해 논의했습니다
개발도상국에서 일하는 것의 지속적인 특징은 품질이 부족하거나 때로는 정보에 입각한 결정을 내리는 데 필요한 데이터가 부족하다는 것입니다. 정보에 입각한 결정을 내리는 데 필요한 대부분의 데이터는 매우 불완전하거나, 불완전하거나, 단순히 사용할 수 없습니다. 좁은 범위의 데이터 분석 도구로 무장한 학생들, 심지어 (특히) 고도로 정교한 도구로 무장한 학생들은 원래 다른 목적을 위해 수집된 단편적이고 오래된 결함이 있는 데이터를 일상적으로 사용해야 하는 상황에 대처할 능력이 부족할 것입니다. 사례를 구축하거나 반박하기 위해 서로 다른 출처와 형태의 증거를 연결할 수 있는 데이터 기업가가 되어야 합니다. 실무자로서 제가 하고 있는 일이 변화를 만들고 있습니까? 제가 잘못한 경우 어떻게 알 수 있습니까? 프로젝트가 미치는 영향과 동시에 발생하는 다른 이벤트의 영향을 어떻게 구별할 수 있습니까? 이러한 질문에 답하기 위해 필요한 데이터(질적 및 정량적)를 어떻게 조립합니까? 이것들은 석사과정 학생들뿐만 아니라, 모든 진로 단계의 연구자들이 반성해야 할 질문들입니다. 아마도 이 질문들 중 가장 의미 있는 것은 '내가 틀렸다면 어떻게 알 수 있을까?'입니다

 

5.5. 요약

이 장에서 우리는 세 가지 분야에 관심을 가져왔습니다:
5.5a. 조사 실시
연구 과정을 과정으로 보되 연구의 종류가 다르다는 것을 염두에 두는 것이 도움이 됩니다. 연구의 수준이나 종류에 따라 연구 과정이 다를 수 있습니다.
5.5b. 개발 연구분야 연구 수행
개발 연구에서 '산'의 '모든 각도를 보기' 위해 방법론과 방법을 혼합하는 것이 대중화되었습니다. 그러나 다른 접근 방식, 방법 또는 데이터가 결합되거나 비교될 것이라는 보장은 없습니다. 연구자 간에 적대적인 대화가 종종 있고 DS 내에서 다른 학문적 접근 방식이 있습니다. 경제학 및 양적 접근 방식과 사회인류학 및 질적 접근 방식 사이에는 연관성이 있지만, 이는 학문 간의 연구 설계 및 우선 순위에 대한 균일한 관점을 확보하는 문제의 일부인 제한적이고 '지적 고정관념'으로 의문을 제기해 왔습니다. 방법론과 방법을 결합하는 것은 정량적 방법과 질적 방법을 결합할 수 있는 가능한 방법의 범위로 인해 실제로 복잡합니다.
5.5c. 개발 연구에서 엄격한 연구 수행
가장 일반적인 연구 품질 기준은 종종 연구 결과가 동료 검토(참조) 저널에 출판되는지 여부와 동료 검토를 포함하는 프로세스를 통해 연구 자금이 지원되었는지 여부입니다. 그러나 출판은 사후 프로세스이며 최근에 의문이 제기되었습니다. 한 가지 문제는 '품질'과 '엄격한' 것을 판단하기 위해 어떤 종류의 '기준'이 사용될 수 있는지에 대한 문제였습니다. 일반적으로 우리는 사회 연구를 평가하기 위한 타당성, 신뢰성, 복제성 및 일반화 가능성을 생각합니다. 그러나 일부는 사회 과학(특히 DS)의 양적 및 질적 접근 방식은 다른 또는 '대안' 기준에 의해 판단될 필요가 있다고 주장했습니다. 많은 DS 연구의 정책 관련 특성의 함의와 위치성의 문제로 인해 제기되는 엄격한 문제가 있습니다. 개발 연구자는 영향을 미치기를 원하는 프로세스의 일부입니다. 논의는 수용 가능한 편향과 수용할 수 없는 편향을 구별하는 문제를 제기합니다.