강화 (심리학)

3. 강화의 역사

강화에 대한 연구는 에드워드 손다이크의 고양이 퍼즐 상자 실험에서 시작된 것으로 알려져 있다.^[3] B. F. 스키너를 비롯한 많은 사람들이 이 연구를 이어갔으며, 스키너는 1938년 ''유기체의 행동''이라는 중요한 저서를 출판했고, 이후 여러 출판물을 통해 이 연구를 발전시켰다.^[4] 특히 스키너는 긍정적 강화가 행동을 형성하는 데 있어 처벌보다 우월하다고 주장했다.^[5] 그는 긍정적 강화가 지속적인 행동 수정(장기적)을 가져오는 반면, 처벌은 행동을 일시적으로만 변화시키고(단기적) 많은 부작용을 낳는다고 말했다.

이후 많은 연구자들이 강화에 대한 이해를 넓히고 스키너의 일부 결론에 이의를 제기했다. 예를 들어, 아즈린과 홀츠는 처벌을 "그 행동의 미래 확률을 감소시키는 행동의 결과"로 정의했으며,^[6] 일부 연구에서는 긍정적 강화와 처벌이 행동을 수정하는 데 동일하게 효과적임을 보여주었다. 긍정적 강화, 부정적 강화 및 처벌의 효과에 대한 연구는 오늘날에도 계속되고 있으며, 이러한 개념은 학습 이론의 기본이며 그 이론의 많은 실제 적용 분야에 적용된다.

조작적 조건형성(operant conditioning)은 B. F. 스키너가 도입한 경험적 패러다임으로, 이는 동물이 환경에 기반하여 자유롭게 조작할 수 있다는 이론이다.

4. 강화 이론

행동주의 이론에서 강화는 특정 행동과 결과 간의 연관성을 학습하는 과정으로, 보상을 통해 특정 행동을 유도하거나 행동수정으로 이어질 수 있으며 보상시스템(Reward system)과 밀접하게 관련되어 있다.^[3] B.F. 스키너는 반응 강도의 변화에 따라 강화를 정의했으며, 이는 즐거움이나 가치와 같은 주관적인 기준이 아닌 행동의 확률 변화를 기준으로 한다. 예를 들어, 과자를 달라고 요청했을 때 과자를 받는 아이의 "과자 요청 행동" 빈도가 증가하면 과자는 강화제로 간주될 수 있다.

강화 연구는 재현 가능한 실험 결과를 통해 특수 교육, 응용 행동 분석, 행동의 실험적 분석 등 다양한 분야에 적용되고 있다.^[5] 또한, 강화는 중독, 의존 및 강박과 같은 의학 및 정신약리학 모델의 핵심 개념이기도 하다.

"긍정적" 및 "부정적"이라는 용어는 조작자의 행동에 대한 응답자의 평가가 아닌, 조작자가 수행한 행동의 본질을 의미한다. "정적 강화"는 쾌적한 요소의 추가, "부적 강화"는 불쾌한 요소의 제거를 의미한다. 예를 들어, 마틴 셀리그만의 개들이 전기 충격을 피하는 법을 배우는 실험은 부적 강화의 예시이다.^[7]

스키너는 긍정적 강화가 행동 형성에 있어 처벌보다 우월하다고 주장했지만,^[5] 이후 연구들은 긍정적 강화와 처벌이 행동 수정에 동일하게 효과적일 수 있음을 보여주었다.

4. 1. 조작적 조건형성

4. 2. 사회학습이론

4. 3. 차등 강화

5. 강화 계획

조작적 조건형성에서 강화 계획은 행동과 강화 간의 관계를 조절하는 규칙이다.^[17] 이러한 규칙은 수반성과 행동의 관계가 복잡한 환경이라는 변수로 나타남으로써 도박 행동, 협동 시 꾀병 등 다양한 반응을 이해하는 원리를 제공한다. 강화 계획은 강화의 가변적인 일관성과 예측 가능성에 따라 작동 방식이 달라진다. B.F. 스키너는 비둘기를 사용하여 다양하고 복잡한 강화 계획을 오랫동안 연구했다.

5. 1. 연속 강화와 간헐적 강화

• 고정 비율: 강화가 제공된 후 활동이 느려지고, 다음 강화가 제공될 때까지 반응률이 증가한다(강화 후 일시 중지).^[17]
• 변동 비율: 빠르고 꾸준한 반응률; 소거에 가장 잘 견딘다.^[17]
• 고정 간격: 간격의 끝으로 갈수록 반응이 증가한다; 소거에 대한 저항이 낮다.^[17]
• 변동 간격: 꾸준한 활동이 나타나며, 소거에 대한 저항이 좋다.^[17]

5. 2. 단순 강화 계획

• '''고정 비율 (FR) 계획'''은 정해진 ''n''번째 반응 후에 보상을 제공한다.^[11] 예를 들어, FR 1 계획은 모든 반응을 강화하는 계속 강화(CRF) 계획과 같다.
• '''변동 비율 (VR) 계획'''은 평균적으로 매 ''n''번째 반응마다 보상하지만, 항상 ''n''번째 반응마다 보상하는 것은 아니다.^[11]
• '''고정 간격 (FI) 계획'''은 ''n''시간이 지난 후에 보상을 제공한다.^[11]
• '''변동 간격 (VI) 계획'''은 평균적으로 ''n''시간마다 보상하지만, 항상 정확히 ''n''시간마다 보상하는 것은 아니다.^[11]
• '''고정 시간 (FT) 계획'''은 반응 여부와 관계없이, 마지막 보상 이후 고정된 시간에 강화 자극을 제공한다.
• '''변동 시간 (VT) 계획'''은 반응 여부와 관계없이, 마지막 보상 이후 평균 변동 시간에 보상을 제공한다.

• 고정 비율 계획에서는 강화 후 활동이 느려지고, 다음 강화가 제공될 때까지 반응률이 증가한다(강화 후 일시 중지).
• 변동 비율 계획은 빠르고 꾸준한 반응률을 보이며, 소거에 가장 잘 견딘다.
• 고정 간격 계획에서는 간격의 끝으로 갈수록 반응이 증가하며, 소거에 대한 저항이 낮다.
• 변동 간격 계획은 꾸준한 활동을 보이며, 소거에 대한 저항이 좋다.

5. 3. 복합 강화 계획

• 대체 스케줄: 두 개 이상의 단순 스케줄이 유효하며, 먼저 완료된 스케줄이 강화를 초래한다.^[19]
• 결합 스케줄: 두 개 이상의 단순 스케줄이 서로 독립적으로 유효하며, 강화를 위해서는 모든 단순 스케줄의 요구 사항이 충족되어야 한다.
• 다중 스케줄: 두 개 이상의 스케줄이 시간 경과에 따라 번갈아 나타나며, 어떤 스케줄이 유효한지 나타내는 자극이 있다. 스케줄이 유효한 동안 반응 요구 사항이 충족되면 강화가 제공된다.
• 혼합 스케줄: 두 개 이상의 스케줄 중 하나가 유효하며, 어떤 스케줄이 유효한지 나타내는 자극이 없다. 스케줄이 유효한 동안 반응 요구 사항이 충족되면 강화가 제공된다.
• 동시 스케줄: 참가자가 동시에 사용할 수 있는 두 개 이상의 단순 강화 스케줄 중 하나를 선택할 수 있다. 유기체는 언제든지 반응 대안을 자유롭게 전환할 수 있다.
• 동시 연쇄 강화 스케줄: 참가자가 첫 번째 링크에서 여러 단순 강화 스케줄 중 두 번째 링크에서 유효할 스케줄을 선택할 수 있다. 일단 선택이 이루어지면, 거부된 대안은 다음 시행이 시작될 때까지 사용할 수 없게 된다.
• 연동 스케줄: 한 구성 요소의 진행이 다른 구성 요소의 진행에 영향을 미치는 두 개의 구성 요소가 있는 단일 스케줄이다.
• 연쇄 스케줄: 두 개 이상의 연속적인 스케줄이 완료된 후에 강화가 발생하며, 한 스케줄이 완료되고 다음 스케줄이 시작되었음을 나타내는 자극이 있다.
• 탠덤 스케줄: 두 개 이상의 연속적인 스케줄 요구 사항이 완료되면 강화가 발생하며, 스케줄이 완료되고 다음 스케줄이 시작되었음을 나타내는 자극이 없다.
• 고차 스케줄: 하나의 스케줄 완료가 두 번째 스케줄에 따라 강화된다.

6. 강화의 종류

강화는 자극의 종류, 제공 방식, 조건 등에 따라 다양하게 분류된다. 강화는 행동을 증가시키는 반면, 처벌은 행동을 감소시킨다. 정적 강화는 대상이 얻으려고 노력하는 자극이며, 부적 강화는 대상이 제거하거나 끝내려고 노력하는 자극이다.^[8]

강화와 처벌에 따른 자극의 추가 및 제거는 아래 표와 같다.

6. 1. 일차 강화물과 이차 강화물

• '''일반화된 강화'''는 여러 강화물과 연결되어 강화 기능을 획득하고 다양한 동기 조작에서 강화물 역할을 하는 조건화된 강화물이다. 돈은 많은 다른 강화물과 연결되어 있기 때문에 일반화된 강화의 예시이다.^[11]

6. 2. 자연적 강화와 인위적 강화

• 자연적 강화: 행동 자체의 자연스러운 결과로 작동적 행동의 빈도를 증가시키는 사건
• 인위적 강화: 토큰 경제에서 치료사가 특정 행동에 대해 보상을 주는 것과 같이 인간의 중재가 필요한 사건

인위적 강화는 일반화 가능한 기술을 구축하거나 개발하는 데 사용될 수 있으며, 궁극적으로 자연 발생적인 강화로 전환하여 행동을 유지하거나 증가시킬 수 있다. 또 다른 예시는 특정 기준을 충족한 후 특정 행동의 결과로 일반적으로 나타나는 사회적 상황이다.

7. 강화의 응용

강화는 행동주의 이론에서 보상을 통해 특정 행동을 유도하거나 행동수정으로 이어질 수 있으며, 보상시스템(Reward system)과 밀접하게 관련되어 있다. 강화와 처벌은 인간의 사회적 상호 작용에서 널리 사용되며, 조작적 조건화 원리를 적용한 많은 사례가 제안되고 실행되어 왔다.

• 중독 및 약물 의존: 긍정적 강화와 부정적 강화는 중독과 약물 의존의 발달과 유지에 중요한 역할을 한다. 중독성 약물은 1차 긍정 강화 요인으로 작용하며, 약물 관련 자극은 조건화된 긍정 강화 요인이 되어 갈망을 유발한다. 약물 의존은 신체적, 심리적 의존 증상을 완화하기 위해 부정적 강화를 유발한다.^[28][29][30]
• 동물 훈련: 조작적 조건화의 원리를 명확하게 보여주는 예시이다. 즉시성, 우발성, 이차적 강화, 조형, 간헐적 강화, 연쇄화 등의 개념이 활용된다.^[31]
• 부모 관리 훈련: 자녀의 적절한 행동에 대한 긍정적 강화가 핵심이다. 칭찬, 미소, 포옹과 같은 사회적 보상이나 구체적인 보상을 사용하며, 점진적 근사, 진척도 차트 활용 등의 방법이 사용된다.^[32]
• 경제학: 조작적 조건화는 시장에서 인간의 행동, 특히 상품 가격 변화에 따른 소비자 수요 변화("수요의 가격 탄력성")를 분석하는 데 적용된다.^[34]
• 도박: 슬롯 머신은 변동 비율 강화 계획의 대표적인 예시로, 도박 중독의 주요 원인 중 하나로 여겨진다.^[35]
• 칭찬: B.F. 스키너의 조작적 조건 형성 모델에 따르면, 칭찬은 긍정적 강화 수단으로, 특정 행동의 발생 가능성을 높인다.^[36][37][38]
• 외상적 유대: 간헐적인 보상과 처벌로 인해 형성되는 강한 정서적 유대감으로, 학대 사이클의 지속으로 이어진다.^[44][45]
• 비디오 게임: 많은 비디오 게임은 변동 비율 강화 계획을 통해 긍정적 강화를 제공하여 플레이어가 계속 게임을 하도록 유도하며, 이는 비디오 게임 중독으로 이어질 수 있다. 전리품 상자와 같은 일부 수익 창출 방식은 도박과 유사하다는 비판을 받는다.^[47]

7. 1. 중독 및 의존

7. 2. 동물 훈련

• 즉시성: 즉각적인 강화가 효과적이다 (예: 항상 준비된 강아지 간식 가방).^[31]
• 우발성: 강화가 원하는 행동 다음에 오도록 하고, 다른 행동에는 따르지 않도록 하는 것이 중요하다.^[31]
• 이차적 강화: 원하는 반응 직후에 클리커를 울리는 것과 같이 이차적 강화를 사용한다.^[31]
• 조형: 원하는 행동에 점진적으로 근접하도록 강화한다 (예: 점진적으로 개가 더 높이 점프하도록 하는 것).^[31]
• 간헐적 강화: 포만감 없이 지속적인 행동을 유도하기 위해 간식 빈도를 줄인다.^[31]
• 연쇄화: 복잡한 행동을 점차적으로 조합한다.^[31]

7. 3. 부모 관리 훈련

7. 4. 경제학

7. 5. 도박

7. 6. 칭찬

7. 7. 외상적 유대

7. 8. 비디오 게임

8. 강화에 대한 비판

행동 강화에 대한 표준 정의는 순환적이라는 비판을 받아왔다. 이는 강화에 의해 반응 강도가 증가한다고 주장하는 것처럼 보이며, 강화를 반응 강도를 증가시키는 것으로 정의하기 때문이다(즉, 반응 강도는 반응 강도를 증가시키는 것에 의해 증가한다). 그러나 강화의 올바른 사용법^[49]은 어떤 것이 행동에 미치는 영향 ''때문에'' 강화제인 것이지, 그 반대가 아니다. 특정 자극이 행동을 강화하는 이유는 그것이 강화제이기 때문이라고 말하면서, 자극이 왜 행동에 그러한 영향을 미치는지 설명하지 않는다면 순환적이 된다. F.D. 셰필드의 "반응에 따른 소비 행동"과 같은 다른 정의들이 제안되었지만, 이것들은 심리학에서 널리 사용되지 않는다.^[50]

점점 더 강화제가 수행하는 역할에 대한 이해는 "강화" 효과에서 "신호" 효과로 이동하고 있다.^[51] 즉, 강화제가 강화로 이어질 가능성이 있는 행동을 신호하기 때문에 반응을 증가시킨다는 관점이다. 대부분의 실질적인 적용에서 주어진 강화제의 효과는 강화제가 신호를 보내든 강화를 하든 동일하겠지만, 이러한 접근 방식은 간헐적 강화 계획(고정 간격 조개 모양) 및 차별적 결과 효과에 대한 반응 패턴을 포함한 여러 행동 현상을 설명하는 데 도움이 된다.^[52]

9. 강화의 수학적 모델

강화에 대한 수학적 모델을 구축하려는 연구가 진행되어 왔다. 이 모델은 MPR(Reinforcement의 수학적 원리, 수학적 강화 원리)로 알려져 있다. 피터 킬린(Peter Killeen)은 비둘기에 대한 연구를 통해 이 분야에서 중요한 발견을 했다.^[27]

참조

_[1] 웹사이트 Definition of reinforcement from the American Psychological Association https://dictionary.a[...] 2024-01-30
_[2] 논문 Neuronal Reward and Decision Signals: From Theories to Data 2015-07
_[3] 논문 Some Experiments on Animal Intelligence https://zenodo.org/r[...] 1898-06
_[4] 서적 The Behavior of Organisms: An Experimental Analysis https://books.google[...] Appleton-Century-Crofts 1938
_[5] 서적 Walden Two https://archive.org/[...] The Macmillan Company
_[6] 서적 Operant Behavior: Areas of Research and Application http://psycnet.apa.o[...] Meredith Publishing Company
_[7] 서적 The Power of Reinforcement State University of New York Press
_[8] 서적 Learning Processes: Instrumental Conditioning The Macmillan Company
_[9] 서적 Well-Being in the Workplace and its Relationship to Business Outcomes: A Review of the Gallup Studies http://media.gallup.[...] American Psychological Association
_[10] 서적 About Behaviorism 1974
_[11] 서적 Behavioral Modification: Principles and Procedures Thomson/Wadsworth 2008
_[12] 논문 Use of noncontingent reinforcement in the treatment of challenging behavior. A review and clinical guide 1998-10
_[13] 서적 The Use of Resealed Erythrocytes as Carriers and Bioreactors
_[14] 서적 Control of human behavior Scott Foresman
_[15] 논문 Toward a technology of generalization: The identification of natural contingencies of reinforcement
_[16] 논문 Differential reinforcement as treatment for behavior disorders: procedural and functional variations 1992
_[17] 논문 Within Session FR Pausing. 2007
_[18] 논문 Dynamic changes in reinforcer value: Some misconceptions and why you should care. 2001
_[19] 서적 Experimental Analysis of Behavior https://books.google[...] Elsevier 1991
_[20] 논문 On Choice, Preference, and Preference For Choice.
_[21] 서적 Psychology Worth Publishers
_[22] 논문 Shaping complex functional communication responses http://dx.doi.org/10[...] 2018-05-14
_[23] 서적 Treating Feeding Challenges in Autism Academic Press
_[24] 논문 Response Shaping to Improve Food Acceptance for Children with Autism: Effects of Small and Large Food Sets 2020
_[25] 논문 CORRIGENDUM to "Further Evaluations of Functional Communication Training and Chained Schedules of Reinforcement to Treat Multiple Functions of Challenging Behavior" 2020-07-24
_[26] 논문 Functional Communication Training and Chained Schedules of Reinforcement to Treat Challenging Behavior Maintained by Terminations of Activity Interruptions http://dx.doi.org/10[...] 2012-02-09
_[27] 논문 Mathematical principles of reinforcement http://cogprints.org[...] 2010-02-04
_[28] 서적 Neuroscience for Addiction Medicine: From Prevention to Rehabilitation - Constructs and Drugs
_[29] 논문 From prediction error to incentive salience: mesolimbic computation of reward motivation 2012-04
_[30] 논문 Pleasure systems in the brain 2015-05
_[31] 서적 Carrots and sticks: principles of animal training Cambridge University Press 2007
_[32] 서적 Problem-solving skills training and parent management training for oppositional defiant disorder and conduct disorder. https://books.google[...] Guilford Press 2010
_[33] 서적 Parent management training — Oregon model: An intervention for antisocial behavior in children and adolescents. https://books.google[...] Guilford Press 2010
_[34] 서적 The Principles of Learning and Behavior Wadsworth Publishing Company 2009
_[35] 논문 Impulsivity, intelligence, and discriminating reinforcement contingencies in a fixed-ratio 3 schedule 2012-11
_[36] 서적 History of behavior modification: Experimental foundations of contemporary research https://archive.org/[...] University Park Press 1978
_[37] 논문 Superior vena cava syndrome: etiology, diagnosis, and treatment
_[38] 논문 Task clarification, performance feedback, and social praise: Procedures for improving the customer service of bank tellers 1988
_[39] 논문 Adenoid cystic carcinoma of the external auditory canal
_[40] 논문 On praising effectively 1981
_[41] 논문 Evidence-based Practices in Classroom Management: Considerations for Research to Practice 2008
_[42] 서적 Evidence-based psychotherapies for children and adolescents https://books.google[...] Guilford Press 2010
_[43] 논문 Identifying common elements of evidence-based psychosocial treatments for children's disruptive behavior problems 2008-05
_[44] 논문 Traumatic Bonding: The development of emotional attachments in battered women and other relationships of intermittent abuse 1981
_[45] 서적 Counselling Survivors of Domestic Abuse https://books.google[...] Jessica Kingsley Publishers 2008-06-15
_[46] 웹사이트 Traumatic Bonding {{!}} Encyclopedia.com http://www.encyclope[...]
_[47] 웹사이트 Behavioral Game Design http://www.gamasutra[...] 2001-04-27
_[48] 웹사이트 Are loot boxes gambling? http://www.eurogamer[...] 2017-10-12
_[49] 서적 Skinner for the classroom : selected papers https://archive.org/[...] Research Press 1982
_[50] 서적 Contemporary learning theories Lawrence Erlbaum Associates 1989
_[51] 논문 Reinforcement: food signals the time and location of future food 2011-07
_[52] 논문 The differential outcomes effect in children with autism 2017-06
_[53] 논문 Developing and Implementing a Positive Behavioral Reinforcement Intervention in Prison-Based Drug Treatment: Project BRITE 2011-09-07
_[54] 서적 The Power of Reinforcement State University of New York Press
_[55] 문서 Behavioral and Neural Plasticity
_[56] 문서 Behavioral and Neural Plasticity
_[57] 서적 Learning Processes: Instrumental Conditioning The Macmillan Company
_[58] 저널 Cellular basis of memory for addiction 2013-12
_[59] 서적 Molecular Neuropharmacology: A Foundation for Clinical Neuroscience McGraw-Hill Medical
_[60] 서적 Molecular Neuropharmacology: A Foundation for Clinical Neuroscience McGraw-Hill Medical
_[61] 저널 Cellular basis of memory for addiction 2013-12
_[62] 웹인용 Glossary of Terms http://neuroscience.[...] Department of Neuroscience 2015-02-09
_[63] 저널 Neurobiologic Advances from the Brain Disease Model of Addiction 2016-01