Relații între expertiză și distincție: Imaginile medicale anormale duc la îmbunătățirea performanței memoriei numai în partea experților a treia

Reamintim din analiza similarității din Experimentul 1 că imaginile normale din setul nostru de date sunt mai puțin asemănătoare între ele decât imaginile anormale. Astfel, memoria pentru imagini normale ar trebui să fie mai bună decât anormală (cum era la începători).

Memoria imaginilor și memoria sunt inseparabile. Memoria noastră poate fi împărțită în memorie vizuală, memorie auditivă, memorie olfactivă, memorie tactilă etc. Dintre acestea, memoria vizuală este cea mai des folosită în viața noastră. Memoria imaginilor se referă la memoria informațiilor de imagine formate în mintea noastră.

Memoria imaginilor are o semnificație pozitivă foarte importantă în viața noastră. În primul rând, îl putem folosi pentru a recunoaște și identifica obiecte, oameni și scene. De exemplu, când vedem un prieten mergând pe stradă, durează doar câteva secunde pentru a-i recunoaște fața. Acesta este rezultatul memoriei noastre de imagine. În al doilea rând, memoria imaginilor ne poate ajuta să învățăm mai bine. Cuvintele, imaginile și diagramele pe care le vedem ne solicită să le accesăm și să le reținem prin memoria imaginilor. În cele din urmă, memoria imaginilor ne poate ajuta să înțelegem și să ne amintim mai bine concepte și tipare.

În același timp, o memorie bună ne poate îmbunătăți capacitatea de memorie a imaginii. Unele cercetări științifice arată că profitarea oportunității de a exercita memoria de la o vârstă fragedă poate îmbunătăți dezvoltarea creierului nostru și poate îmbunătăți abilitățile de învățare și memorie. De exemplu, folosirea metodei de citire silențioasă ne poate îmbunătăți considerabil memoria. În plus, acordarea atenției menținerii unor obiceiuri bune de viață, cum ar fi munca și odihna regulată, mai multă mișcare, o dietă sănătoasă etc., poate promova dezvoltarea sănătoasă a creierului nostru și poate îmbunătăți memoria.

Pe scurt, memoria și memoria imaginilor se promovează și se influențează reciproc. Ne putem îmbunătăți capacitatea de memorie a imaginii prin menținerea unor obiceiuri bune de viață și exersarea activă a memoriei. Cred că toată lumea are o capacitate puternică de memorie a imaginii și, atâta timp cât o folosește bine, pot obține realizări și experiențe mai bune în viață și în muncă. Se poate observa că trebuie să îmbunătățim memoria, iar Cistanche deserticola poate îmbunătăți semnificativ memoria, deoarece Cistanche deserticola poate regla și echilibrul neurotransmițătorilor, cum ar fi creșterea nivelului de acetilcolină și a factorilor de creștere. Aceste substanțe sunt foarte importante pentru memorie și învățare. În plus, Cistanche deserticola poate, de asemenea, să îmbunătățească fluxul sanguin și să promoveze livrarea de oxigen, ceea ce poate asigura că creierul primește suficiente nutrienți și energie, îmbunătățind astfel vitalitatea și rezistența creierului.

Faceți clic pe Cunoașteți memoria pe termen scurt cum să vă îmbunătățiți

Este o memorie pentru imagini anormale care sunt mai bune pentru observatorii radiologi. Acest lucru sugerează că efectul expertizei compensează mai mult decât diferențele dintre categoriile de stimuli în similitudinea imaginii. Pentru a vedea care este efectul anomaliei, independent de diferențele de similitudine a imaginii de bază, putem compara performanțele radiologilor performanța tonovicelor cu aceleași imagini.

Pentru a face acest lucru, comparăm beneficiul - în termeni de ASC al ROC - pentru radiologi în raport cu controalele în fiecare condiție. Acest lucru dezvăluie un beneficiu semnificativ de anomalie atât la 3-spate, t(31) =6.67, p < .001, cât și 30-în spate la radiologi experți, t(31) {{ 9}}.33,p < .001, unde, luându-și performanța după evaluarea inițială în raport cu performanța participanților începători, radiologii au fost în mod special mai buni la amintirea imaginilor anormale (vezi Fig. 8).

Extragerea de informații suplimentare cu o a doua prezentare

Datorită structurii acestui experiment, conceput pentru a sonda memoria, fiecare element din setul de memorie are două evaluări de clasificare (pentru normal/anormal). Astfel, în timp ce ne-am propus să sondăm memoria, experimentul ne permite, de asemenea, să combinăm ambele evaluări pentru a examina dacă există un efect de „aglomerare” în această situație (Vul & Pashler, 2008). Autorii au propus mulțimea din interior ca o variantă pentru „înțelepciunea mulțimii”.

Ei au descoperit că media răspunsurilor unui singur individ la repetițiile aceluiași lucru a dus la o performanță mai bună decât răspunsurile individuale. Aceasta este ceea ce ne-am aștepta dacă o singură hotărâre nu ar include toate informațiile pe care oamenii le-ar putea avea despre o întrebare. Dacă acest lucru este valabil pentru evaluările mamografiilor efectuate de radiologi experți, ne-am aștepta ca medierea evaluărilor anormalității de la un radiolog de la două expuneri la aceeași mamografie ar trebui să aibă ca rezultat o acuratețe mai bună decât să analizăm oricare dintre evaluările singure.

Rețineți că, în această situație, totuși, spre deosebire de Vuland Pashler (2008), participanții au informații suplimentare a doua oară - pot vedea imaginea din nou înainte de a doua judecată, nu li se cere din nou. Astfel, în acest caz, efectul de aglomerație de aici ar putea apărea din noua informație reală care este încorporată (de exemplu, observatorul ar putea examina diferite părți ale imaginii), mai degrabă decât eșantionarea internă.

Găsim un avantaj modest, dar semnificativ în încorporarea ambelor judecăți: media răspunsurilor radiologilor de la prima și a doua oară când au văzut o imagine a avut ca rezultat o performanță ușor mai mare în 30-condiția spatelui (AUC =0,745) comparativ cu cu performanța unui singur element (AUC =0.716), t(31)=3.46, p=.002 (vezi Fig. 9, stânga). Efectul nu a fost semnificativ în starea de 3-spate (AUC articulară =,712, AUC unică=.705), t(31)=1,15, p {{ 19}} .259. Deloc surprinzător, acest efect nu a fost prezent la începători, deoarece performanța lor a fost foarte slabă la ambele răspunsuri (vezi Fig. 9, dreapta; toate ps > .10).

Astfel, performanța experților poate fi îmbunătățită (deși, destul de modest) prin media mai mult de un răspuns. Rămâne de văzut dacă acest beneficiu ar apărea dacă radiologilor li s-ar oferi timp nelimitat pentru a procesa fiecare imagine, mai degrabă decât cele 3 secunde din studiul actual. Timpul limitat de vizualizare de aici poate fi îmbunătățit în mod special capacitatea radiologilor de a extrage informații noi în a doua vizualizare a mamografiei.

discutie generala

În studiul actual, am examinat performanța memoriei de către începători neexperți și radiologi experți pentru imagini mamografice normale versus anormale ca studiu de caz în înțelegerea rolului schemelor, caracterului distinctiv și expertiza în memorie.

Pentru a face acest lucru, ne-am bazat pe analiza ROC, concepută pentru a măsura corect memoria independent de criteriile de răspuns la diferențe și pentru a ține cont atât de memoria îmbunătățită pentru elementele văzute, cât și de posibilitatea unor alarme false.

 În primul rând, ne-am uitat la cât de încrezători și competenți erau observatorii începători și experți în clasificarea imaginilor medicale fie normale, fie anormale. Deloc surprinzător, radiologii au fost mult mai buni decât începătorii la această sarcină. Începătorii au arătat o anumită capacitate de a distinge anomaliile, deși acest lucru părea a fi în mare parte rezultatul câtorva imagini proeminente. În al doilea rând, am examinat principala noastră întrebare de interes: memoria pentru imagini. În Experimentul 1, am examinat formamogramele de memorie la începători, care nu au niciuna dintre expertiza sau schemele necesare pentru a procesa aceste imagini.

Am găsit performanțe slabe în general, precum și un mic beneficiu de normalitate în memoria participanților începători, ceea ce ar putea fi explicat prin diferența mai mare a imaginilor cu imaginile normale. Astfel, Experimentul 1 (pe începători) ne-a oferit nu numai o bază pentru performanța memoriei, ci și o înțelegere a complexității setului nostru de imagini, arătând că unele imagini anormale erau destul de proeminente și că imaginile noastre normale erau mai diferite unele de altele.

Chiar dacă imaginile normale din setul nostru erau mai distinctive vizual, în Experimentul 2, am descoperit că radiologii aveau o memorie mai bună pentru imaginile anormale și aveau performanțe de memorie mult superioare celor începători. Acest lucru oferă o perspectivă asupra modului în care experiența modifică memoria: nu numai că îmbunătățește codificarea elementelor normale, ci și sporește caracterul distinctiv al elementelor anormale.

Astfel, în timp ce experții ar putea avea acces la beneficii de codificare perceptivă, caracter distinctiv și/sau scheme/bucăți pentru a le permite să depășească începătorii, descoperirea noastră a unui beneficiu suplimentar de expertiză pentru imaginile anormale este cel mai în concordanță cu un rol special de distincție. Pentru experți, imaginile anormale au caracteristici unice care le fac distincte de alte elemente din memorie; în timp ce pentru începători, aceste caracteristici nu sunt apreciate și astfel aceste imagini sunt la fel ca orice altă imagine.

De exemplu, o posibilitate este ca, în loc să codifice întreaga imagine, în cazul imaginilor anormale, radiologii codifică în mod specific anomalia și nu restul imaginii în memorie. Acest lucru ar putea reduce încărcarea memoriei pentru imaginea respectivă și ar putea face urmărirea memoriei pentru imaginea respectivă mai distinctă.

Astfel, în linii mari, găsim dovezi puternice pentru rolul schemelor și al caracterului distinctiv în memorie, chiar și după luarea în considerare a memoriei false și a posibilității de schimbare a criteriilor de răspuns: constatăm că experții depășesc semnificativ novicii și că memoria pentru cazurile anormale cu leziune vizibilă este mai bună. decât amintirea altor imagini. Nu au existat dovezi ale unui beneficiu de memorie pentru cazurile contralaterale „anormale”.

Memoria de măsurare: alarme false și analiză ROC

În studiile actuale, am folosit analiza ROC pentru a examina memoria. Acest lucru se datorează faptului că, în lucrările anterioare, a fost adesea neclar dacă beneficiile pentru informațiile consecvente cu schema precum cele raportate de experți sunt, de fapt, îmbunătățiri ale memoriei, spre deosebire de modificările criteriilor de răspuns. Pentru a determina dacă memoria s-a îmbunătățit, nu este adecvat să găsim pur și simplu o creștere fiabilă a ratei cu care observatorii raportează corect că au fost expuși la o anumită informație (adevărat pozitiv sau rata de „lovire”). Observatorul ar putea spune pur și simplu „Da, l-am văzut” mai des.

Acest lucru ar produce o creștere a erorilor fals pozitive (sau alarmă falsă). În contextul cercetării memoriei, aceste erori fals-pozitive pot fi văzute ca o formă de memorie falsă. În teorie, modelele de detectare a semnalului și măsurile precum d' pot distinge între acestea două, dar, în practică, condițiile prealabile pentru ca d' să se ajusteze în mod corespunzător pentru polarizarea răspunsului (varianță egală; pante zROC=1.0) sunt rareori prezente în contexte de memorie de recunoaștere și nu au fost prezente aici.

Astfel, analiza ROC este necesară pentru a distinge între diferența dintre capacitatea de a-și aminti față de schimbările de criteriu, care ar reflecta o tendință crescută a observatorilor de a spune că își amintesc (de exemplu, Wixted și Mickes, 2015).

Este memoria falsă o adevărată preocupare? Lucrările anterioare au descoperit că organizarea informațiilor în memorie prin scheme poate avea atât consecințe pozitive, cât și negative - și, în special, crește adesea alarmele false, ceea ce face dificil de a spune dacă memoria este cu adevărat îmbunătățită. În special, în timp ce o mai mare înțelegere - ca în expertiză - poate permite codificarea doar a detaliilor relevante, reducând încărcarea memoriei, ne poate determina, de asemenea, să ne amintim în mod fals informații care nu au fost prezente (de exemplu, Owens și colab., 1979). De exemplu, în testele de recunoaștere, oamenii sunt mai predispuși să dea o alarmă falsă față de momeli consecvenți cu schema în comparație cu momeli inconsecvenți cu schema.

Ei ar fi mai probabil să raporteze în mod fals că au văzut cărți în biroul unui student absolvent decât obiecte inconsistente, cum ar fi o bucată de scoarță de copac sau o pereche de clește (Brewer & Treyens, 1981; Lampinen și colab., 2001). Și, în timp ce participanții sunt mai probabil să-și amintească corect informațiile consecvente cu schema într-o scenă prezentată pe scurt (Biederman și colab., 1982; Brewer & Treyens, 1981), ei sunt, de asemenea, mai probabil să-și amintească în mod fals astfel de informații (de exemplu, Hollingworth și Henderson, 2003). Pedzek şi colab. 1989).

Astfel, măsurarea completă a ROC-urilor - în loc să încerce să deducă modul în care părtinirea răspunsului ar modifica performanța folosind măsuri precum A', d' sau hit-uri minus alarme false - dezvăluie adesea răspunsuri surprinzătoare despre memorie, în special în situații precum expertiză și elemente consistente/inconsecvente în care se știe că ambele ratele de lovituri și alarme false sunt afectate.

De exemplu, Dougal și Rotello (2007) au folosit analiza ROC pentru a arăta că efectul bine-cunoscut al cuvintelor emoționale de „memorie îmbunătățită” în comparație cu cuvintele neutre este un efect de prejudecată a răspunsului, nu o diferență adevărată de memorie între cuvinte. În mod similar, Mickes și colab. (2012) au arătat în domeniul memoriei martorilor oculari că formațiile secvențiale, care reduc atât alarmele false, cât și ratele de lovituri în raport cu formațiile simultane, sunt inferioare formațiunilor simultane, spre deosebire de o mulțime de literatură care sugerează contrariul (de exemplu, Wellset al., 2011), deoarece „beneficiul” major apare pur și simplu dintr-o schimbare a criteriului de răspuns, nu dintr-o schimbare a puterii memoriei.

Astfel, experimentele actuale oferă dovezi unice că experiența și caracterul distinctiv care sunt evidente doar experților îmbunătățesc memoria și că aceasta nu este doar o schimbare a criteriului de răspuns.

Ce explică că radiologii depășesc începătorii

În concordanță cu o mare varietate de lucrări de expertiză, constatăm că radiologii experți depășesc începătorii în amintirea mamografiilor. O posibilitate probabilă este ca acest lucru să se întâmple din cauza cunoștințelor experților despre aceste imagini: aceștia au cunoștințe relevante care le permit să înțeleagă aceste imagini într-un mod în care începătorii nu o fac și probabil că au experiență perceptuală încorporată în sistemul lor vizual din anii de experiență (de exemplu, în forma unei procesări holistice mai mari, de exemplu, Richler et al., 2011). În special, pentru un expert, imaginile anormale ar avea un atribut suplimentar (acea masă, acea calcificare), învățat de-a lungul anilor de experiență, care ar ajuta la distingerea elementului din memorie.

Cu toate acestea, în studiul actual, nu am încercat să potrivim direct experții noștri cu novicii noștri. Grupul nostru de începători a fost eșantionat de pe internet, care este mult mai larg reprezentativ pentru demografia Statelor Unite decât populația de licență (de exemplu, Difallah și colab., 2018), dar este totuși probabil diferit în mai multe moduri de radiologii noștri (factori indemografici și socioeconomici, precum și motivația de a se concentra pe imaginile mamografice).

Astfel, Experimentul 1 ar trebui luat doar ca o linie de referință aproximativă: a dezvăluit caracteristici importante ale imaginii în setul nostru de stimuli și indică posibilitatea unor efecte puternice de expertiză, dar nu confirmă în mod direct că acestea se bazează doar pe cunoștințe, mai degrabă decât pe alți factori.

Judecăți de memorie și anomalii la radiologi

Lucrările anterioare au găsit rezultate mixte la investigarea îmbunătățirilor de memorie la radiologi. De exemplu, Hardesty et al. (2005) au investigat memoria pe termen lung a radiologilor pentru imaginile medicale prezentate luni mai târziu și au descoperit că niciunul dintre radiologi nu și-a amintit cazurile pe care le-au citit anterior. Evans et al. (2016) au găsit rezultate mixte atunci când au investigat dacă anormalitatea îmbunătățește memoria la observatorii experți, inclusiv la radiologi.

ORezultatele noastre oferă context acestor ambiguități, deoarece sugerează că radiologii experți au o memorie mai puternică pentru imaginile anormale chiar și într-un cadru de memorie pe termen lung și chiar și atunci când părtinirea răspunsului este luată în considerare în mod corespunzător folosind analiza ROC. Cu toate acestea, întârzierile noastre lungi au fost doar de ordinul minutelor, nu lunilor și, prin urmare, rămâne neclar cum ar dura astfel de avantaje pe durate lungi. Este demn de remarcat faptul că în sarcina de clasificare, radiologii au avut în medie mult mai slab decât s-ar fi așteptat de la radiologi din clinică cu timp de vizionare nelimitat (d'=2.5–3.0, ca în D'Orsi et al., 2013). Un motiv pentru aceasta ar putea fi faptul că fiecare imagine din studiul nostru a fost prezentată doar timp de 3 secunde.

De exemplu, Evans et al. (2013) le-a arătat radiologilor doar o scurtă privire asupra mamografiilor și a variației de timp de la 250 ms la 2,000 ms. ASC-urile respective pentru radiologi în experimentul lor pentru 500 ms, 1,000 ms și 2,000 ms timpi de vizualizare au fost 0,65, 0,66 și, respectiv, 0,72 . În experimentul nostru cu un timp de prezentare de 3,000 ms, am găsit un AUC de 0,72. Astfel, cele 3000-ms prezentări ale noastre au avut ca rezultat un nivel similar de performanță cu cele 2000-ms prezentări ale lui Evans și colab. (2013), care, deși cu mult sub ceea ce se așteaptă cu timpul de vizionare nelimitat, este în concordanță cu alte studii și consecvent cu timpul de vizionare fiind principala constrângere care duce la o performanță mai scăzută.

Efectul de „mulțime în interior” la radiologi

Deoarece studiul nostru a făcut ca radiologii să răspundă la aceeași întrebare de clasificare despre o imagine de mai multe ori, am analizat dacă media răspunsurilor radiologilor atunci când ei apreciază aceeași imagine de două ori a dus la o performanță mai bună (un efect de „mulțime în interiorul”; Vul & Pashler, 2008). Am constatat că performanța radiologilor s-a îmbunătățit atunci când este mediată pe aceeași imagine de două ori, în comparație cu oricare dintre răspunsurile singure, dar numai în 30-starea spatelui și doar în mod modest chiar și atunci. Acest lucru indică faptul că, până la momentul în care radiologilor li s-a prezentat aceeași imagine, 30 de imagini mai târziu, ei au dat un răspuns care a fost oarecum independent de primul lor răspuns.

Acest lucru sugerează că, în condițiile experimentale actuale, ar putea exista informații pe care radiologii nu le folosesc prima dată când văd o imagine - și că oportunitatea de a vedea din nou imaginea permite radiologului să culeagă informații suplimentare utile. Studiile viitoare ar putea determina dacă astfel de beneficii persistă atunci când experților li se acordă timp nelimitat pentru a procesa imaginile, precum și dacă acest efect poate fi mărit cu o întârziere și mai mare între prima și a doua prezentare a unei imagini (după cum au descoperit Vul & Pashler, 2008).

„Consumul” anormalității

Având în vedere Evans et al. (2016) constatând că există o „esenta anomalie” prezentă în sânul controlateral atunci când nu este prezentă nicio anomalie localizabilă, am fost interesați să știm dacă aceste imagini contralateral-anormale au avut vreun avantaj față de imaginile normale din memoria expertului. Nu am găsit nicio dovadă. În experimentul nostru, nu am găsit nicio diferență în clasificarea anomaliilor dintre imaginile normale contralaterale în comparație cu cele normale. ,

În timp ce la început, aceasta ar putea părea să contrazică lucrările anterioare, mai multe diferențe metodologice fac dificilă compararea rezultatelor noastre direct cu Evans și colab. (2016). Este posibil să nu găsim acest rezultat deoarece am prezentat imagini pentru un timp de codificare mai lung (3,000 ms). Expunerea tipică la stimul în studiile „esențiale” pe mamografie a fost mai mică de o secundă; 500 ms este tipic. Este posibil ca prezentarea imaginilor pentru perioade de codare mai lungi să întunece informațiile esențiale - suprascriind o impresie „de bază” inițială cu informații mai semantice sau semnificative.

Amintiți-vă, de asemenea, că radiologii noștri nu au fost informați despre esența și probabil și-au rezervat evaluările „anormale” pentru cazurile în care au putut localiza o leziune. Este posibil să observăm un efect anormal-contralateral chiar și la timpi lungi de codare dacă le-am direcționa explicit participanților să caute o textură sau un esen mai general anormal. Având în vedere aceste diferențe metodologice, studiul actual nu poate fi ușor comparat cu Evans și colab. (2016). Cu toate acestea, aceasta pare a fi o cale promițătoare pentru lucrări viitoare.

Concluzie

Folosind radiologii ca studiu de caz, găsim un avantaj pentru memorie la experți, precum și un avantaj pentru imaginile anormale - chiar și atunci când se măsoară corect memoria prin ROCanalysis. Acest lucru este în linii mari în concordanță cu schemele din literatură. Descoperirile noastre au implicații importante atât pentru domeniile aplicate care utilizează inteligența expertă în luarea deciziilor inferențiale, cât și pentru domeniile teoretice interesate de modul în care memoria se schimbă cu expertiza. În special, înțelegerea structurii memoriei la experți este critică în situațiile în care deciziile trebuie luate de oameni care au o expertiză semnificativă.

Mulțumiri Toate persoanele care au contribuit la acest proiect sunt autorii lucrării finale.

Contribuțiile autorilor Toți autorii au contribuit la ipoteza originală și au citit și au aprobat manuscrisul final. HMS a contribuit la colectarea datelor, analiza datelor și scrierea manuscrisului. TFB a contribuit la colectarea datelor, analiza datelor și editarea manuscrisului. JMW a oferit îndrumări generale și a contribuit la editarea manuscrisului.

Finanțare Această cercetare a fost susținută de NSF BCS-1829434 către TFB

Disponibilitatea datelor Pentru date și materiale, vă rugăm să contactați autorul corespunzător.

Declarații

Aprobare etică și consimțământ pentru participare Toți participanții și-au dat consimțământul informat. Pentru toate experimentele din acest studiu, procedurile de consimțământ informat au fost aprobate de Consiliul de revizuire instituțional al Universității din California, San Diego.

Consimțământul pentru publicare nu este aplicabil.

Referințe 

1. Bainbridge, WA, Isola, P. și Oliva, A. (2013). Memorabilitatea intrinsecă a fotografiilor feței. Journal of Experimental Psychology:General, 142(4), 1323–1334.

2. Bartlett, FC (1932). Remembering: Un studiu experimental și social. Cambridge University Press.

3.Berinsky, AJ, Huber, GA și Lenz, GS (2012). Evaluarea piețelor forței de muncă online pentru cercetare experimentală: Mechanical Turk de la Amazon.com. Analiza politică, 20(3), 351–368.

4.Biederman, I., Mezzanotte, RJ, & Rabinowitz, JC (1982). Sceneperception: Detectarea și judecarea obiectelor care suferă încălcări relaționale. Psihologie cognitivă, 14(2), 143–177.

5.Bilalić, M., Langner, R., Ulrich, R. și Grodd, W. (2011). Multe fețe ale expertizei: Zona fuziformă a feței la experți și începători în șah. Journalof Neuroscience, 31(28), 10206–10214.

6. Brady, TF și Alvarez, GA (2011). Codificarea ierarhică în memoria de lucru vizual: memoria de părtinire a statisticilor ansamblului pentru elemente individuale. Psychological Science, 22(3), 384–392.

7.Brady, TF, Alvarez, G. și Störmer, V. (2019). Rolul semnificației în memoria vizuală: Activitatea cerebrală selectivă a feței prezice memoria pentru stimuli feței ambigui. Journal of Neuroscience, 39(6) 1100–1108.

8. Brewer, WF și Treyens, JC (1981). Rolul schemelor în memorie pentru locuri. Psihologie cognitivă, 13(2), 207–230.

9.Buhrmester, M., Kwang, T. și Gosling, SD (2011). Amazon'sMechanical Turk: O nouă sursă de date ieftine, dar de înaltă calitate? Perspective on Psychological Science, 6(1), 3–5.

10. Calkins, MW (1894). Experimental. Psychological Review, 1(3), 327–329.

For more information:1950477648nn@gmail.com