మెషిన్-లెర్నింగ్ వివరణలను రీడబుల్ నేరేటివ్‌లుగా మార్చడానికి LLMలను ఉపయోగించడం వల్ల మోడల్‌ను ఎప్పుడు విశ్వసించాలనే దాని గురించి మెరుగైన నిర్ణయాలు తీసుకోవడంలో వినియోగదారులకు సహాయపడుతుంది.
మెషిన్-లెర్నింగ్ మోడల్‌లు పొరపాట్లు చేయగలవు మరియు ఉపయోగించడం కష్టంగా ఉంటాయి, కాబట్టి వినియోగదారులు మోడల్ అంచనాలను ఎప్పుడు, ఎలా విశ్వసించాలో అర్థం చేసుకోవడానికి శాస్త్రవేత్తలు వివరణ పద్ధతులను అభివృద్ధి చేశారు.
ఈ వివరణలు తరచుగా సంక్లిష్టంగా ఉంటాయి, అయితే వందలకొద్దీ మోడల్ ఫీచర్ల గురించిన సమాచారాన్ని కలిగి ఉండవచ్చు. మరియు అవి కొన్నిసార్లు బహుముఖ విజువలైజేషన్‌లుగా ప్రదర్శించబడతాయి, ఇవి మెషిన్-లెర్నింగ్ నైపుణ్యం లేని వినియోగదారులకు పూర్తిగా అర్థం చేసుకోవడం కష్టం.
AI వివరణలను అర్థం చేసుకోవడంలో ప్రజలకు సహాయపడటానికి, MIT పరిశోధకులు ప్లాట్-ఆధారిత వివరణలను సాదా భాషలోకి మార్చడానికి పెద్ద భాషా నమూనాలను (LLMలు) ఉపయోగించారు.
వారు రెండు-భాగాల వ్యవస్థను అభివృద్ధి చేశారు, ఇది మెషీన్-లెర్నింగ్ వివరణను మానవులు చదవగలిగే టెక్స్ట్ యొక్క పేరాగా మారుస్తుంది మరియు కథనం యొక్క నాణ్యతను స్వయంచాలకంగా అంచనా వేస్తుంది, కాబట్టి తుది వినియోగదారు దానిని విశ్వసించాలో లేదో తెలుసు.
కొన్ని ఉదాహరణ వివరణలతో సిస్టమ్‌ను ప్రాంప్ట్ చేయడం ద్వారా, పరిశోధకులు దాని కథన వివరణలను వినియోగదారుల ప్రాధాన్యతలకు లేదా నిర్దిష్ట అప్లికేషన్‌ల అవసరాలకు అనుగుణంగా అనుకూలీకరించవచ్చు.
దీర్ఘకాలంలో, వాస్తవ-ప్రపంచ సెట్టింగ్‌లలో అంచనాలతో ఇది ఎలా వచ్చింది అనే దాని గురించి మోడల్ ఫాలో-అప్ ప్రశ్నలను అడగడానికి వినియోగదారులను అనుమతించడం ద్వారా ఈ సాంకేతికతను రూపొందించాలని పరిశోధకులు భావిస్తున్నారు.
“ఈ పరిశోధనతో మా లక్ష్యం ఏమిటంటే, వినియోగదారులు వారు నిర్దిష్ట అంచనాలను రూపొందించిన కారణాల గురించి మెషిన్-లెర్నింగ్ మోడల్‌లతో పూర్తి స్థాయి సంభాషణలను అనుమతించే దిశగా మొదటి అడుగు వేయడం, కాబట్టి వారు మోడల్‌ను వినాలా వద్దా అనే దానిపై మంచి నిర్ణయాలు తీసుకోగలరు” అని చెప్పారు. అలెగ్జాండ్రా జైటెక్, ఎలక్ట్రికల్ ఇంజనీరింగ్ మరియు కంప్యూటర్ సైన్స్ (EECS) గ్రాడ్యుయేట్ విద్యార్థి మరియు ఈ టెక్నిక్‌పై పేపర్‌కి ప్రధాన రచయిత.
ఆమె MIT పోస్ట్‌డాక్ అయిన సారా పిడో ద్వారా కాగితంపై చేరింది; సారా అల్నెఘైమిష్, EECS గ్రాడ్యుయేట్ విద్యార్థి; లారే బెర్టి-ఎక్విల్లే, ఫ్రెంచ్ నేషనల్ రీసెర్చ్ ఇన్‌స్టిట్యూట్ ఫర్ సస్టైనబుల్ డెవలప్‌మెంట్‌లో రీసెర్చ్ డైరెక్టర్; మరియు సీనియర్ రచయిత కళ్యాణ్ వీరమాచనేని, లాబొరేటరీ ఫర్ ఇన్ఫర్మేషన్ అండ్ డెసిషన్ సిస్టమ్స్‌లో ప్రిన్సిపల్ రీసెర్చ్ సైంటిస్ట్. పరిశోధన IEEE బిగ్ డేటా కాన్ఫరెన్స్‌లో ప్రదర్శించబడుతుంది.
స్పష్టమైన వివరణలు
పరిశోధకులు SHAP అని పిలువబడే ఒక ప్రసిద్ధ యంత్ర అభ్యాస వివరణపై దృష్టి సారించారు. SHAP వివరణలో, మోడల్ అంచనా వేయడానికి ఉపయోగించే ప్రతి లక్షణానికి విలువ కేటాయించబడుతుంది. ఉదాహరణకు, ఒక మోడల్ ఇంటి ధరలను అంచనా వేస్తే, ఒక లక్షణం ఇంటి స్థానం కావచ్చు. స్థానానికి సానుకూల లేదా ప్రతికూల విలువ కేటాయించబడుతుంది, ఇది మోడల్ యొక్క మొత్తం అంచనాను ఆ ఫీచర్ ఎంతవరకు సవరించిందో సూచిస్తుంది.
తరచుగా, SHAP వివరణలు బార్ ప్లాట్‌లుగా ప్రదర్శించబడతాయి, ఇవి ఏ ఫీచర్లు చాలా లేదా తక్కువ ముఖ్యమైనవి అని చూపుతాయి. కానీ 100 కంటే ఎక్కువ ఫీచర్లు ఉన్న మోడల్‌కు, ఆ బార్ ప్లాట్ త్వరగా పనికిరానిదిగా మారుతుంది.
“పరిశోధకులుగా, మనం దృశ్యమానంగా ఏమి ప్రదర్శించబోతున్నాం అనే దాని గురించి మనం చాలా ఎంపికలు చేసుకోవాలి. మేము టాప్ 10ని మాత్రమే చూపాలని ఎంచుకుంటే, ప్లాట్‌లో లేని మరొక ఫీచర్‌కు ఏమి జరిగిందో ప్రజలు ఆశ్చర్యపోవచ్చు. సహజ భాషను ఉపయోగించడం ఆ ఎంపికలు చేసుకోకుండా మనపై భారం పడుతుంది” అని వీరమాచనేని చెప్పారు.
అయినప్పటికీ, సహజ భాషలో వివరణను రూపొందించడానికి పెద్ద భాషా నమూనాను ఉపయోగించకుండా, పరిశోధకులు ఇప్పటికే ఉన్న SHAP వివరణను చదవగలిగే కథనంగా మార్చడానికి LLMని ఉపయోగిస్తారు.
ప్రక్రియ యొక్క సహజ భాషా భాగాన్ని మాత్రమే LLM నిర్వహించడం ద్వారా, ఇది వివరణలో దోషాలను ప్రవేశపెట్టే అవకాశాన్ని పరిమితం చేస్తుంది, Zytek వివరిస్తుంది.
EXPLINGO అని పిలువబడే వారి వ్యవస్థ, కలిసి పనిచేసే రెండు ముక్కలుగా విభజించబడింది.
NARRATOR అని పిలువబడే మొదటి భాగం, వినియోగదారు ప్రాధాన్యతలకు అనుగుణంగా SHAP వివరణల యొక్క కథన వివరణలను రూపొందించడానికి LLMని ఉపయోగిస్తుంది. కథన వివరణల యొక్క మూడు నుండి ఐదు వ్రాతపూర్వక ఉదాహరణలను మొదట NARRATORకి అందించడం ద్వారా, LLM వచనాన్ని రూపొందించేటప్పుడు ఆ శైలిని అనుకరిస్తుంది.
“వినియోగదారు ఏ విధమైన వివరణ కోసం వెతుకుతున్నారో నిర్వచించటానికి ప్రయత్నించే బదులు, వారు చూడాలనుకుంటున్న వాటిని వ్రాయడం సులభం” అని జైటెక్ చెప్పారు.
ఇది మానవీయంగా వ్రాసిన విభిన్న ఉదాహరణలను చూపడం ద్వారా కొత్త వినియోగ సందర్భాల కోసం సులభంగా అనుకూలీకరించడానికి NARRATORని అనుమతిస్తుంది.
NARRATOR ఒక సాదా భాష వివరణను సృష్టించిన తర్వాత, రెండవ భాగం, GRADER, నాలుగు కొలమానాలపై కథనాన్ని రేట్ చేయడానికి LLMని ఉపయోగిస్తుంది: సంక్షిప్తత, ఖచ్చితత్వం, సంపూర్ణత మరియు పటిమ. GRADER స్వయంచాలకంగా NARRATOR నుండి టెక్స్ట్ మరియు అది వివరించే SHAP వివరణతో LLMని అడుగుతుంది.
“ఒక LLM ఒక పనిని తప్పుగా చేసినప్పటికీ, ఆ పనిని తనిఖీ చేసేటప్పుడు లేదా ధృవీకరించేటప్పుడు అది తరచుగా తప్పు చేయదని మేము కనుగొన్నాము” అని ఆమె చెప్పింది.
వినియోగదారులు ప్రతి కొలమానానికి వేర్వేరు బరువులు ఇవ్వడానికి GRADERని కూడా అనుకూలీకరించవచ్చు.
“ఉదాహరణకు, పటిష్టత కంటే చాలా ఎక్కువ వెయిటింగ్ ఖచ్చితత్వం మరియు పరిపూర్ణతను మీరు ఊహించవచ్చు,” ఆమె జతచేస్తుంది.
కథనాలను విశ్లేషించడం
Zytek మరియు ఆమె సహచరులకు, LLMని సర్దుబాటు చేయడం అతిపెద్ద సవాళ్లలో ఒకటి కాబట్టి ఇది సహజంగా ధ్వనించే కథనాలను రూపొందించింది. శైలిని నియంత్రించడానికి వారు మరిన్ని మార్గదర్శకాలను జోడించినట్లయితే, LLM వివరణలో లోపాలను ప్రవేశపెడుతుంది.
“చాలా ప్రాంప్ట్ ట్యూనింగ్ ఒక్కో తప్పును ఒక్కొక్కటిగా కనుగొని పరిష్కరించడానికి వెళ్ళింది” అని ఆమె చెప్పింది.
వారి సిస్టమ్‌ను పరీక్షించడానికి, పరిశోధకులు తొమ్మిది మెషిన్-లెర్నింగ్ డేటాసెట్‌లను వివరణలతో తీసుకున్నారు మరియు ప్రతి డేటాసెట్‌కు వేర్వేరు వినియోగదారులు కథనాలను వ్రాసారు. ఇది ప్రత్యేక శైలులను అనుకరించే NARRATOR సామర్థ్యాన్ని అంచనా వేయడానికి వారిని అనుమతించింది. వారు నాలుగు కొలమానాలపై ప్రతి కథన వివరణను స్కోర్ చేయడానికి GRADERని ఉపయోగించారు.
చివరికి, పరిశోధకులు తమ సిస్టమ్ అధిక-నాణ్యత కథన వివరణలను రూపొందించగలదని మరియు విభిన్న రచనా శైలులను సమర్థవంతంగా అనుకరించగలదని కనుగొన్నారు.
మానవీయంగా వ్రాసిన కొన్ని ఉదాహరణ వివరణలను అందించడం కథన శైలిని బాగా మెరుగుపరుస్తుందని వారి ఫలితాలు చూపిస్తున్నాయి. అయినప్పటికీ, ఆ ఉదాహరణలు జాగ్రత్తగా వ్రాయబడాలి – “పెద్దది” వంటి తులనాత్మక పదాలతో సహా, GRADER ఖచ్చితమైన వివరణలను తప్పుగా గుర్తించడానికి కారణం కావచ్చు.
ఈ ఫలితాల ఆధారంగా, పరిశోధకులు తమ సిస్టమ్ తులనాత్మక పదాలను మెరుగ్గా నిర్వహించడానికి సహాయపడే పద్ధతులను అన్వేషించాలనుకుంటున్నారు. వారు వివరణలకు హేతుబద్ధీకరణను జోడించడం ద్వారా EXPLINGOని కూడా విస్తరించాలనుకుంటున్నారు.
దీర్ఘకాలంలో, వారు ఈ పనిని ఒక ఇంటరాక్టివ్ సిస్టమ్‌కి ఒక సోపాన రాయిగా ఉపయోగించాలని భావిస్తున్నారు, ఇక్కడ వినియోగదారు వివరణ గురించి మోడల్ ఫాలో-అప్ ప్రశ్నలను అడగవచ్చు.
“ఇది చాలా విధాలుగా నిర్ణయం తీసుకోవడంలో సహాయపడుతుంది. వ్యక్తులు మోడల్ అంచనాతో విభేదిస్తే, వారి అంతర్ దృష్టి సరైనదేనా, లేదా మోడల్ యొక్క అంతర్ దృష్టి సరైనదేనా మరియు ఆ తేడా ఎక్కడ ఉందో వారు త్వరగా గుర్తించగలరని మేము కోరుకుంటున్నాము నుండి వస్తోంది” అని జైటెక్ చెప్పారు.
