ఉత్పాదకమైనది కృత్రిమ మేధస్సు (AI) సిస్టమ్‌లు కొన్ని కళ్లు తెరిచే ఫలితాలను అందించగలవు, కానీ కొత్త పరిశోధనలు ప్రపంచం మరియు వాస్తవ నియమాల గురించి వారికి పొందికైన అవగాహనను కలిగి లేవని చూపుతున్నాయి.
లో ఒక కొత్త అధ్యయనం arXiv ప్రిప్రింట్ డేటాబేస్‌లో ప్రచురించబడింది, MIT, హార్వర్డ్ మరియు కార్నెల్‌తో ఉన్న శాస్త్రవేత్తలు పెద్ద భాషా నమూనాలు (LLMలు) వంటి వాటిని కనుగొన్నారు GPT-4 లేదా ఆంత్రోపిక్స్ 3 పనిని మూసివేయండివాస్తవ ప్రపంచాన్ని ఖచ్చితంగా సూచించే అంతర్లీన నమూనాలను రూపొందించడంలో విఫలమవుతుంది.
న్యూయార్క్ నగరంలో టర్న్-బై-టర్న్ డ్రైవింగ్ దిశలను అందించే పనిలో ఉన్నప్పుడు, ఉదాహరణకు, LLMలు వాటిని దాదాపు 100% ఖచ్చితత్వంతో అందించాయి. కానీ శాస్త్రవేత్తలు వాటిని వెలికితీసినప్పుడు ఉపయోగించిన అంతర్లీన మ్యాప్‌లు ఉనికిలో లేని వీధులు మరియు మార్గాలతో నిండి ఉన్నాయి.
ఆదేశానికి ఊహించని మార్పులు జోడించబడినప్పుడు (డొంకదారులు మరియు మూసి ఉన్న వీధులు వంటివి), LLMలు ఇచ్చిన దిశల ఖచ్చితత్వం క్షీణించిందని పరిశోధకులు కనుగొన్నారు. కొన్ని సందర్భాల్లో, ఇది పూర్తి వైఫల్యానికి దారితీసింది. అలాగే, డ్రైవర్‌లెస్ కారులో చెప్పాలంటే, వాస్తవ-ప్రపంచ పరిస్థితిలో అమర్చబడిన AI సిస్టమ్‌లు డైనమిక్ ఎన్విరాన్‌మెంట్‌లు లేదా టాస్క్‌లతో అందించబడినప్పుడు తప్పుగా పనిచేస్తాయని ఇది ఆందోళన కలిగిస్తుంది.
“ఒక ఆశ ఏమిటంటే, LLMలు భాషలో ఈ అద్భుతమైన విషయాలన్నింటినీ సాధించగలవు కాబట్టి, మనం సైన్స్‌లోని ఇతర భాగాలలో కూడా ఇదే సాధనాలను ఉపయోగించవచ్చు. అయితే LLMలు పొందికైన ప్రపంచ నమూనాలను నేర్చుకుంటున్నారా అనే ప్రశ్న మనకు కావాలంటే చాలా ముఖ్యం. కొత్త ఆవిష్కరణలు చేయడానికి ఈ పద్ధతులను ఉపయోగించడం” అని సీనియర్ రచయిత చెప్పారు అశేష్ రాంబచన్ఎకనామిక్స్ అసిస్టెంట్ ప్రొఫెసర్ మరియు MIT లాబొరేటరీ ఫర్ ఇన్ఫర్మేషన్ అండ్ డెసిషన్ సిస్టమ్స్ (LIDS)లో ప్రిన్సిపల్ ఇన్వెస్టిగేటర్ ప్రకటన.
గమ్మత్తైన ట్రాన్స్‌ఫార్మర్లు
ఉత్పాదక AIల యొక్క ముఖ్యాంశం LLMల యొక్క విస్తారమైన డేటా మరియు పారామితుల నుండి సమాంతరంగా నేర్చుకునే సామర్థ్యంపై ఆధారపడి ఉంటుంది. దీని కోసం వారు ఆధారపడతారు ట్రాన్స్ఫార్మర్ నమూనాలుఇవి డేటాను ప్రాసెస్ చేసే మరియు LLMల స్వీయ-అభ్యాస అంశాన్ని ప్రారంభించే న్యూరల్ నెట్‌వర్క్‌ల అంతర్లీన సమితి. ఈ ప్రక్రియ “వరల్డ్ మోడల్” అని పిలవబడే దానిని సృష్టిస్తుంది, దీనిని శిక్షణ పొందిన LLM తర్వాత సమాధానాలను అంచనా వేయడానికి మరియు ప్రశ్నలు మరియు టాస్క్‌లకు అవుట్‌పుట్‌లను ఉత్పత్తి చేయడానికి ఉపయోగించవచ్చు.
ప్రపంచ నమూనాల యొక్క అటువంటి సైద్ధాంతిక ఉపయోగం ప్రస్తుత నావిగేషన్ సాధనాలకు అవసరమైన విధంగా ప్రతి మార్గాన్ని కష్టపడి ప్లాట్ చేయాల్సిన అవసరం లేకుండా మ్యాప్‌ను రూపొందించడానికి నగరం అంతటా టాక్సీ ప్రయాణాల నుండి డేటాను తీసుకోవడం. కానీ ఆ మ్యాప్ ఖచ్చితమైనది కానట్లయితే, ఒక మార్గానికి చేసిన విచలనాలు AI-ఆధారిత నావిగేషన్ పనితీరును తగ్గించడానికి లేదా విఫలమయ్యేలా చేస్తాయి.
వాస్తవ-ప్రపంచ నియమాలు మరియు వాతావరణాలను అర్థం చేసుకునేటప్పుడు ట్రాన్స్ఫార్మర్ LLMల యొక్క ఖచ్చితత్వం మరియు పొందికను అంచనా వేయడానికి, పరిశోధకులు వాటిని డిటర్మినిస్టిక్ ఫినిట్ ఆటోమేషన్స్ (DFAs) అని పిలిచే సమస్యల తరగతిని ఉపయోగించి పరీక్షించారు. ఇవి ఆట యొక్క నియమాలు లేదా గమ్యస్థానానికి వెళ్లే మార్గంలో ఉన్న ఖండనల వంటి రాష్ట్రాల క్రమంతో సమస్యలు. ఈ సందర్భంలో, పరిశోధకులు బోర్డ్ గేమ్ ఒథెల్లో నుండి డ్రా చేసిన DFAలను మరియు న్యూయార్క్ వీధుల గుండా నావిగేషన్‌ను ఉపయోగించారు.
DFA లతో ట్రాన్స్‌ఫార్మర్‌లను పరీక్షించడానికి, పరిశోధకులు రెండు కొలమానాలను చూశారు. మొదటిది “సీక్వెన్స్ డిటర్మినేషన్”, ఇది ట్రాన్స్ఫార్మర్ LLM ఒకే వస్తువు యొక్క రెండు వేర్వేరు స్థితులను చూసినట్లయితే ఒక పొందికైన ప్రపంచ నమూనాను రూపొందించిందో లేదో అంచనా వేస్తుంది: రెండు ఒథెల్లో బోర్డులు లేదా ఒక నగరం యొక్క ఒక మ్యాప్ రోడ్డు మూసివేత మరియు మరొకటి లేకుండా. రెండవ మెట్రిక్ “సీక్వెన్స్ కంప్రెషన్” — ఒక క్రమం (ఈ సందర్భంలో అవుట్‌పుట్‌లను రూపొందించడానికి ఉపయోగించే డేటా పాయింట్ల ఆర్డర్ జాబితా) ఇది ఒక పొందికైన ప్రపంచ మోడల్‌తో కూడిన LLM రెండు ఒకేలాంటి స్థితులను అర్థం చేసుకోగలదని చూపిస్తుంది, (రెండు ఒథెల్లో బోర్డులు చెప్పండి సరిగ్గా అదే) అనుసరించడానికి సాధ్యమయ్యే దశల క్రమాన్ని ఒకే విధంగా కలిగి ఉంటాయి.
LLMలపై ఆధారపడటం ప్రమాదకర వ్యాపారం
ఈ కొలమానాలపై రెండు సాధారణ తరగతుల LLMలు పరీక్షించబడ్డాయి. ఒకటి యాదృచ్ఛికంగా ఉత్పత్తి చేయబడిన సీక్వెన్స్‌ల నుండి రూపొందించబడిన డేటాపై శిక్షణ పొందింది, మరొకటి వ్యూహాత్మక ప్రక్రియల ద్వారా రూపొందించబడిన డేటాపై శిక్షణ పొందింది.
యాదృచ్ఛిక డేటాపై శిక్షణ పొందిన ట్రాన్స్‌ఫార్మర్లు మరింత ఖచ్చితమైన ప్రపంచ నమూనాను రూపొందించారు, శాస్త్రవేత్తలు కనుగొన్నారు, ఇది LLM అనేక రకాల సాధ్యమైన దశలను చూడటం వల్ల కావచ్చు. ప్రముఖ రచయిత కీయోన్ వఫాహార్వర్డ్‌లోని ఒక పరిశోధకుడు ఒక ప్రకటనలో ఇలా వివరించాడు: “ఒథెల్లోలో, ఛాంపియన్‌షిప్ ప్లేయర్‌ల కంటే రెండు యాదృచ్ఛిక కంప్యూటర్‌లు ఆడటం మీరు చూసినట్లయితే, సిద్ధాంతపరంగా మీరు పూర్తి స్థాయి కదలికలను చూస్తారు, చెడు కదలికలు ఛాంపియన్‌షిప్ ఆటగాళ్లు కూడా చేయలేరు. .” సాధ్యమయ్యే మరిన్ని కదలికలను చూడటం ద్వారా, అవి చెడ్డవి అయినప్పటికీ, యాదృచ్ఛిక మార్పులకు అనుగుణంగా LLMలు సిద్ధాంతపరంగా మెరుగ్గా సిద్ధంగా ఉన్నాయి.
అయినప్పటికీ, చెల్లుబాటు అయ్యే ఒథెల్లో కదలికలు మరియు ఖచ్చితమైన దిశలను రూపొందించినప్పటికీ, ఒక ట్రాన్స్ఫార్మర్ మాత్రమే ఒథెల్లో కోసం ఒక పొందికైన ప్రపంచ నమూనాను రూపొందించింది మరియు ఏ రకం న్యూయార్క్ యొక్క ఖచ్చితమైన మ్యాప్‌ను రూపొందించలేదు. పరిశోధకులు డొంక తిరుగుడు వంటి వాటిని ప్రవేశపెట్టినప్పుడు, LLMలు ఉపయోగించే అన్ని నావిగేషన్ మోడల్‌లు విఫలమయ్యాయి.
“మేము పక్కదారిని జోడించిన వెంటనే పనితీరు ఎంత త్వరగా క్షీణించిందని నేను ఆశ్చర్యపోయాను. మేము సాధ్యమయ్యే వీధుల్లో కేవలం 1 శాతం మాత్రమే మూసివేస్తే, ఖచ్చితత్వం వెంటనే దాదాపు 100 శాతం నుండి కేవలం 67 శాతానికి పడిపోతుంది” అని వఫా జోడించారు.
ఖచ్చితమైన ప్రపంచ నమూనాలను ఉత్పత్తి చేయడానికి LLMల వినియోగానికి భిన్నమైన విధానాలు అవసరమని ఇది చూపిస్తుంది, పరిశోధకులు తెలిపారు. ఈ విధానాలు ఏమిటో స్పష్టంగా లేవు, అయితే ఇది డైనమిక్ పరిసరాలను ఎదుర్కొన్నప్పుడు ట్రాన్స్ఫార్మర్ LLMల దుర్బలత్వాన్ని హైలైట్ చేస్తుంది.
“తరచుగా, ఈ మోడల్‌లు ఆకట్టుకునేలా చేయడం చూస్తాము మరియు వారు ప్రపంచం గురించి ఏదో అర్థం చేసుకున్నారని అనుకుంటాము” అని రాంబచన్ ముగించారు. “ఇది చాలా జాగ్రత్తగా ఆలోచించాల్సిన ప్రశ్న అని మేము ప్రజలను ఒప్పించగలమని నేను ఆశిస్తున్నాను మరియు దీనికి సమాధానం ఇవ్వడానికి మన స్వంత అంతర్ దృష్టిపై ఆధారపడవలసిన అవసరం లేదు.”
