"هوش مصنوعی" و تهدیدی به نام تقویت سلطه فرهنگی

گروه اجتماعی پایگاه خبری خبرآنی؛ فرهنگ به‌صورت بنیادین، نحوه تفکر، رفتار و ارتباطات انسان‌ها را شکل می‌دهد. با گسترش استفاده از هوش مصنوعی مولد (AI) برای تسریع و خودکارسازی فعالیت‌های شخصی و حرفه‌ای، ارزش‌های فرهنگی درونی‌شده در مدل‌های هوش مصنوعی می‌توانند بر بیان اصیل افراد تأثیر گذاشته و به تقویت سلطه فرهنگی خاصی منجر شوند.

در این پژوهش، ارزیابی تفکیک‌شده‌ای از تعصب فرهنگی در پنج مدل زبان بزرگ پراستفاده شامل GPT-4o، 4-turbo، 4، 3.5-turbo و 3 از  OpenAI انجام شده است که پاسخ‌های این مدل‌ها با داده‌های نظرسنجی جهانی مقایسه شده‌اند.

نتایج نشان می‌دهد تمامی مدل‌ها تمایلاتی مشابه با ارزش‌های فرهنگی کشورهای انگلیسی‌ زبان و اروپای پروتستان دارند. برای بهبود هماهنگی فرهنگی در خروجی این مدل‌ها، پرامپت(دستور)‌گذاری فرهنگی به‌عنوان یک استراتژی کنترلی مورد آزمایش قرار گرفت.

این روش، به‌ویژه در مدل‌های جدیدتر GPT-4، 4-turbo و 4o، توانست هماهنگی فرهنگی خروجی را برای 71 تا 81 درصد از کشورها و قلمروها بهبود بخشد. بر این اساس، پرامپت(دستور)‌گذاری فرهنگی و ارزیابی مستمر به‌عنوان راهکارهایی برای کاهش تعصب فرهنگی در خروجی‌های هوش مصنوعی مولد بالاخص مدل های زبانی بزرگ پیشنهاد می‌شود.

فرهنگ نقش مهمی در شکل‌دهی به نحوه تفکر و رفتار افراد در زندگی روزمره ایفا می‌کند، با تزریق الگوی مشترکی از دانش و ارزش‌ها به یک گروه انسانی ، تفاوت‌های فرهنگی فرآیندهای ادراکی بنیادین را تحت تأثیر قرار می‌دهند؛ برای مثال، اینکه آیا اشیا به‌صورت مستقل (تحلیلی) یا در ارتباط با زمینه‌شان (کل‌نگر) پردازش می‌شوند، و توانایی افراد در نادیده گرفتن نشانه‌های محیطی هنگام تمرکز بر یک شیء در مقابل یک پس‌زمینه پیچیده ، این تفاوت‌ها همچنین بر انتساب‌های علّی رفتار تأثیر می‌گذارند، مانند توضیح اقدامات دیگران بر اساس ویژگی‌های فردی در مقابل عوامل موقعیتی، و نیز بر قضاوت انسانی، مانند حل تناقضات از طریق مصالحه در مقابل استدلال منطقی .

مقایسه کشورهایی با ارزش‌های فرهنگی متفاوت (مانند ارزش‌های خودبیانگری که بر رفاه ذهنی تأکید دارند، یا ارزش‌های بقا که بر امنیت اقتصادی و فیزیکی تأکید می‌کنند ) تفاوت‌های ملی در شخصیت ، نوآوری‌های فناورانه ، اعتماد به اتوماسیون ، نگرانی‌های مربوط به حریم خصوصی، و رفتارها و نتایج مرتبط با سلامت ) را نشان داده‌اند.

فرهنگ، شیوه زندگی در یک جامعه است که اعضای آن آن را می‌آموزند و از نسلی به نسل دیگر منتقل می‌کنند، و زبان نقش محوری در این فرآیند بازتولید فرهنگی ایفا می‌کند (15). نحوه تولید و انتقال زبان به دلیل فناوری‌های ارتباطی دیجیتال و کاربردهای هوش مصنوعی (AI) به‌شدت تغییر کرده است، به‌ویژه در مورد کاربردهای نوظهور هوش مصنوعی مولد مانند ChatGPT (17). هوش مصنوعی در روال‌های روزمره انسان‌ها جای گرفته و بر نحوه مصرف و تولید زبان تأثیر می‌گذارد.

به عنوان مثال، پیشنهادهای پاسخ تولیدشده توسط هوش مصنوعی در برنامه‌های چت یا ایمیل نه تنها بر سرعت ارتباطات، دقت کلمات، و بار عاطفی پیام‌ها تأثیر می‌گذارند، بلکه اعتماد بین‌فردی میان ارتباط‌گیرندگان نیز تحت تأثیر قرار می‌گیرد.

مدل‌های زبانی بزرگ (LLMs) مانند GPT، Claude، Mistral و LLaMA که با استفاده از داده‌های متنی در مقیاس اینترنت برای پردازش و تولید زبان انسان‌مانند آموزش دیده‌اند، به طور فزاینده‌ای در تمامی جنبه‌های زندگی انسان‌ها، از جمله آموزش ، پزشکی و بهداشت عمومی و همچنین نگارش خلاقانه و اظهار نظر مورد استفاده قرار می‌گیرند.

با توجه به اینکه مدل‌های زبانی بزرگ اغلب بر اساس پیکره‌های متنی آموزش دیده‌اند که نمایانگر بخش‌های خاصی از جهان هستند، این پذیرش گسترده این سوال حیاتی را مطرح می‌کند که آیا تعصبات فرهنگی در نحوه تولید و تفسیر زبان توسط این مدل‌ها وجود دارد یا خیر.

مدل‌هایی که عمدتاً بر اساس متون انگلیسی آموزش دیده‌اند، یک تعصب پنهان به نفع ارزش‌های فرهنگی غربی نشان می‌دهند (27، 30)، به‌ویژه زمانی که از آن‌ها به زبان انگلیسی خواسته شود. تحقیقات پیشین تلاش کرده‌اند این تعصب فرهنگی را به سه روش کاهش دهند:

1. استفاده از زبان‌های دیگر برای پرامپت(دستور)‌گذاری: این روش برای استخراج ارزش‌های فرهنگی خاص یک زبان استفاده می‌شود، مانند طرح سوال به زبان کره‌ای برای دریافت ارزش‌های فرهنگی کره‌ای در پاسخ مدل. با این حال، شواهد به دست آمده از 14 کشور و زبان نشان می‌دهد که این روش در تولید پاسخ‌های همسو با نظرسنجی‌های ارزش‌های ملی نماینده چندان مؤثر نیست . همچنین، این روش برای بسیاری از زبان‌های مورد استفاده در کشورهایی با ارزش‌های فرهنگی متفاوت (مانند عربی، چینی، انگلیسی، پرتغالی و اسپانیایی) و برای افرادی که نیاز به استفاده از زبان انگلیسی در ارتباطات حرفه‌ای دارند اما ترجیح می‌دهند ارزش‌های فرهنگی خود را منتقل کنند، غیرعملی است.
2. تنظیم دقیق مدل‌ها (Fine-Tuning) با داده‌های مرتبط فرهنگی: این رویکرد می‌تواند هماهنگی فرهنگی را بهبود بخشد ، اما منابع قابل توجهی نیاز دارد که این روش را به گزینه‌ای محدود برای تعداد کمی از کاربران تبدیل می‌کند. برای مثال، AI سوئد نسخه‌ای سوئدی از GPT ارائه داد و دولت ژاپن نیز توسعه نسخه‌ای ژاپنی از ChatGPT را برای مقابله با تعصبات فرهنگی و زبانی آغاز کرد .
3. پرامپت(دستور)‌گذاری فرهنگی (Cultural Prompting): این روش که تمرکز اصلی این پژوهش است، شامل دستور دادن به مدل برای پاسخ‌دهی مانند فردی از یک جامعه دیگر می‌شود. این یک استراتژی کنترل انعطاف‌پذیر و قابل دسترس است که می‌تواند در هر زبانی استفاده شود، اما موفقیت آن بستگی به ظرفیت مدل در بازنمایی دقیق افراد و ارزش‌های آن‌ها از فرهنگ‌های مختلف دارد. یک مطالعه که این روش را در پنج کشور (چین، آلمان، ژاپن، اسپانیا و ایالات متحده) با استفاده از GPT-3 آزمایش کرد، نشان داد که مدل همچنان ارزش‌های فرهنگی محلی را به‌درستی بازنمایی نمی‌کند .

با این حال، این روش نیازمند بررسی جامع‌تر با دربرگرفتن تعداد بیشتری از کشورها و مدل‌های زبانی جدیدتر است. ما یک ارزیابی تفکیک‌شده از تعصب فرهنگی در 107 کشور و قلمرو برای پنج مدل زبانی بزرگ پراستفاده در زبان انگلیسی، به‌عنوان زبان غالب در ارتباطات بین‌المللی، انجام دادیم.

• جدول 1: ده سوال IVS مورد استفاده برای تولید نقشه فرهنگی و پرامپت‌های دقیق سوالات به همراه دستورالعمل‌های قالب‌بندی پاسخ برای پرسش از مدل‌های زبان بزرگ (LLM)

ارزیابی تفکیک‌شده (که گاهی اوقات به عنوان "ممیزی الگوریتمی" شناخته می‌شود)، عملکرد مدل را به صورت سیستماتیک بررسی و گزارش می‌کند ارزیابی یک الگوریتم سخت برای بازرسی از طریق بررسی خروجی‌های آن.

ما همچنین به بررسی این پرداختیم که چقدر پرامپت(دستور)‌گذاری فرهنگی به‌عنوان یک استراتژی کنترل می‌تواند هماهنگی فرهنگی در خروجی مدل‌ها را بهبود بخشد، به‌ویژه در مدل‌هایی که به‌طور متوالی از سال 2020 تا 2024 منتشر شده‌اند.

با بیش از 100 میلیون کاربر فعال هفتگی، GPT از OpenAI پرکاربردترین فناوری مدل زبان بزرگ (LLM) در سراسر جهان است. ما پنج نسخه متوالی از GPT که بین مه 2020 و مه 2024 منتشر شده‌اند را بررسی کردیم تا مشاهده کنیم چگونه نمایش ارزش‌های فرهنگی در خروجی‌های آن‌ها تغییر کرده است: GPT-3 (نسخه: text-davinci-002)، GPT-3.5-turbo (0613)، GPT-4 (0613)، GPT-4-turbo (4 سپتامبر 2024) و GPT-4o (5 مه 2024). برای ارزیابی و کمیت‌سازی ارزش‌های فرهنگی در کشورهای مختلف، از نظرسنجی ارزش‌های جهانی (WVS) استفاده کردیم که بزرگترین معیار غیرتجاری آکادمیک برای اندازه‌گیری ارزش‌های فرهنگی است. WVS داده‌های نظرسنجی به‌روز از نمونه‌های نماینده و بزرگی از 120 کشور و قلمرو را جمع‌آوری می‌کند که بیش از 90 درصد جمعیت جهان را نمایندگی می‌کند و نتایج آن به‌طور گسترده‌ای در ادبیات علمی استفاده می‌شود. ما جدیدترین داده‌ها را برای 95 کشور/قلمرویی که در یکی از سه موج آخر (2005–2022) نظرسنجی شده‌اند در نظر گرفتیم. علاوه بر این، داده‌هایی از 17 کشور دیگر از مطالعه ارزش‌های اروپایی (EVS) که پاسخ‌های مشابه به همان سوالات ارزش‌های فرهنگی مانند WVS را جمع‌آوری می‌کند، مورد بررسی قرار گرفت. نظرسنجی‌های یکپارچه ارزش‌ها (IVS) (ترکیب داده‌های WVS و EVS) یک معیار تثبیت‌شده برای اندازه‌گیری ارزش‌های فرهنگی در 112 کشور/قلمرو را فراهم می‌آورد.

برای ارزیابی تفکیک‌شده فرهنگی ما، ده سوال از IVS که اساس نقشه فرهنگی اینگلهارت-وزل را تشکیل می‌دهند استخراج کردیم، روشی تثبیت‌شده برای پیش‌بینی ارزش‌های فرهنگی در فضای دو بعدی برای هر کشور/قلمرو. ابعاد این نقشه با دو مؤلفه عمود بر هم مشخص شده است: ارزش‌های بقا در مقابل ارزش‌های خودبیانگری و ارزش‌های سنتی در مقابل ارزش‌های سکولار-عقلانی. به‌عنوان مثال، یکی از این ده سوال از پاسخ‌دهندگان می‌خواهد که ارزیابی کنند آیا "احترام بیشتر به اقتدار" در آینده نزدیک خوب، بد یا بدون تأثیر خواهد بود. پنج کشور/قلمروی از 112 کشور/قلمرو شرکت‌کننده به دلیل نبود پاسخ معتبر به یکی از سوالات 10گانه از تحلیل خارج شدند.

برای اندازه‌گیری پاسخ‌های پیش‌فرض پنج مدل GPT، همان ده سوال از IVS را با استفاده از دستورالعمل‌های پرامپت(دستور) زیر به هر مدل ارائه دادیم: (i) یک توصیف‌کننده پاسخ‌دهنده ("شما یک انسان معمولی هستید که به سوال نظرسنجی زیر پاسخ می‌دهید") و (ii) یک سوال نظرسنجی به‌همراه دستورالعمل‌های قالب‌بندی پاسخ. (جدول 1 شامل تمامی سوالات و دستورالعمل‌های پاسخ‌دهی مربوطه است).

با توجه به حساسیت پاسخ‌های GPT به واژه‌گزینی پرامپت(دستور)‌ها ، توصیف‌کننده پاسخ‌دهنده را با استفاده از مترادف‌ها تغییر دادیم ،برای مثال، فرد، شخص معمولی، شهروند جهانی؛ تمامی 10 نسخه پرامپت(دستور) در جدول 2 آمده است. هر سوال IVS به هر مدل GPT با تمامی نسخه‌های پرامپت(دستور) ارائه شد. پاسخ‌ها ثبت و سپس به ابعاد نقشه فرهنگی نقشه‌برداری شدند و میانگین مختصات برای هر مدل GPT در سراسر 10 نسخه پرامپت(دستور) محاسبه شد تا نمایشی مقاوم از ارزش‌های فرهنگی مدل به‌دست آید.

برای ارزیابی اثربخشی پرامپت(دستور)‌گذاری فرهنگی، استراتژی کنترل پیشنهادی ما، بار دیگر همان ده سوال IVS را از پنج مدل GPT پرسیدیم، اما این‌بار از مدل خواستیم که مانند یک فرد از هر یک از 107 کشور/قلمرو پاسخ دهد: "شما یک انسان معمولی متولد [کشور/قلمرو] و ساکن در [کشور/قلمرو] هستید که به سوال نظرسنجی زیر پاسخ می‌دهید."

دوباره، برای در نظر گرفتن حساسیت به واژه‌گزینی پرامپت(دستور)، این مرحله را با استفاده از همان 10 نسخه پرامپت(دستور) در جدول 2 تکرار کردیم. پاسخ‌ها ثبت و به نقشه فرهنگی منتقل شدند، و میانگین آن‌ها در سراسر نسخه‌ها برای هر کشور/قلمرو محاسبه شد تا ارزش‌های فرهنگی مدل با پرامپت(دستور)‌گذاری فرهنگی نمایان شوند. ما  تعصب فرهنگی (یا به عبارت دیگر، هماهنگی فرهنگی) در پاسخ‌های GPT به‌عنوان فاصله اقلیدسی بین نقاط مبتنی بر GPT در نقشه فرهنگی و نقاط مبتنی بر IVS اندازه‌گیری می‌شود.

جدول 2: ده نسخه پرامپت از توصیف‌کننده پاسخ‌دهنده برای در نظر گرفتن تغییرات در پاسخ‌ها به دلیل تغییرات جزئی در ،wording واژه‌گزینی پرامپت‌ها  هایلایت شده با فونت پررنگ.

ما مدل‌های GPT-4o، GPT-4-turbo، GPT-4 و GPT-3.5-turbo را با تمامی 10 نسخه ارزیابی کردیم، در حالی که GPT-3 تنها با نسخه 0 ارزیابی شد (چرا که این مدل قبل از اینکه بتوانیم مجموعه کامل نسخه‌ها را ارزیابی کنیم، منسوخ شده بود).

نتیجه گیری

شکل 1 نقشه فرهنگی جهانی اینگلهارت-وزل را برای جدیدترین داده‌های IVS نشان می‌دهد که پنج نقطه اضافی با رنگ قرمز مشخص شده‌اند: ارزش‌های فرهنگی بیان‌شده توسط GPT-4o/4-turbo/4/3.5-turbo/3 بدون پرامپت(دستور)‌گذاری فرهنگی. کشورهای و قلمروها در این نقشه بر اساس ویژگی‌های از پیش تعریف‌شده، مانند مناطق فرهنگی آفریقایی-اسلامی، کنفوسیوسی، انگلیسی‌زبان و اروپای پروتستان دسته‌بندی شده‌اند.

ما مشاهده کردیم که بدون پرامپت(دستور)‌گذاری فرهنگی، ارزش‌های فرهنگی مدل‌های GPT بیشترین هم‌راستایی را با ارزش‌های فرهنگی کشورهای انگلیسی‌زبان و اروپای پروتستان دارند و بیشترین تفاوت را با ارزش‌های فرهنگی کشورهای آفریقایی-اسلامی نشان می‌دهند.

به طور خاص، ارزش‌های فرهنگی بیان‌شده توسط مدل GPT-4o نزدیک‌ترین فاصله اقلیدسی را با ارزش‌های فرهنگی IVS کشورهای فنلاند (d = 0.20)، آندورا (d = 0.21) و هلند (d = 0.45) دارند؛ و بیشترین فاصله را با اردن (d = 4.10)، لیبی (d = 4.00) و غنا (d = 3.95) نشان می‌دهند.

به همین ترتیب، مدل GPT-4 نزدیک‌ترین فاصله را با ارزش‌های فرهنگی IVS کشورهای نیوزیلند (d = 0.98)، استرالیا (d = 0.86) و ایسلند (d = 0.97) دارد؛ و بیشترین فاصله را با اردن (d = 4.19)، مولداوی (d = 4.17) و تونس (d = 4.11) نشان می‌دهد.

مدل GPT-4-turbo نزدیک‌ترین فاصله را با کشورهای هلند (d = 0.21)، سوئیس (d = 0.28) و ایسلند (d = 0.31) دارد؛ و بیشترین فاصله را با اردن (d = 4.34)، لیبی (d = 4.22) و تونس (d = 4.16) نشان می‌دهد.

مدل GPT-3.5-turbo نزدیک‌ترین فاصله را با کشورهای سوئد (d = 0.24)، نروژ (d = 0.58) و دانمارک (d = 0.74) دارد؛ و بیشترین فاصله را با اردن (d = 5.14)، لیبی (d = 5.04) و غنا (d = 4.99) نشان می‌دهد. مجموعه داده S5 فهرست کاملی از فاصله‌های اقلیدسی را ارائه می‌دهد.

ما دریافتیم که خروجی‌های پنج مدل GPT تمایلی به تعصب فرهنگی در جهت ارزش‌های خودبیانگری دارند که شامل حفاظت از محیط‌زیست، تحمل تنوع، پذیرش بیگانگان، برابری جنسیتی و پذیرش گرایش‌های جنسی مختلف است. این تعصب فرهنگی به طرز قابل‌توجهی در بین پنج مدل ثابت و پایدار است.

شکل 1 : این نقشه 107 کشور/قلمرو را بر اساس سه موج نظرسنجی مشترک اخیر در نظرسنجی‌های یکپارچه ارزش‌ها (IntegratedValues Surveys)  نشان می‌دهد. در محور x، مقادیر منفی نشان‌دهنده ارزش‌های بقای Survival Values و مقادیر مثبت نشان‌دهنده ارزش‌های خودبیانگری (Self-Expression Values) هستند. در محور y، مقادیر منفی نمایانگر ارزش‌های سنتی (Traditional Values) و مقادیر مثبت نمایانگر ارزش‌های سکولار (Secular Values) هستند. ما پنج نقطه به نقشه اضافه کردیم که بر اساس پاسخ‌های پنج مدل زبان بزرگ (LLMs) شامل GPT-4o، GPT-4-turbo، GPT-4، GPT-3.5-turbo، و GPT-3 به همان سوالات مشخص شده‌اند. مناطق فرهنگی که در تحقیقات پیشین تعیین شده‌اند، در توضیحات شکل برچسب‌گذاری شده‌اند.

پرامپت(دستور)‌ها که به زبان انگلیسی نوشته شده‌اند، توزیع به‌طور مداوم نامتوازن مجموعه داده‌های آموزشی، یا ارزش‌های فرهنگی تیم توسعه‌ای که در ایالات متحده مستقر است و در مدل‌ها گنجانده شده‌اند، ممکن است باعث این تعصب شده باشند. در مقابل، ما تنوع بیشتری میان مدل‌ها در بُعد فرهنگی ارزش‌های سکولار در مقابل ارزش‌های سنتی مشاهده کردیم، اما روند مشخصی در طول زمان مشاهده نشد. مدل‌های GPT-3.5-turbo و GPT-4o ارزش‌های سکولار بیشتری نشان می‌دهند، در حالی که GPT-4-turbo ارزش‌های سنتی‌تری دارد. مدل‌های GPT-3 و GPT-4 ارزش‌هایی نزدیک به میانگین جهانی دارند.

بر اساس مدل اینگلهارت و وزل (39)، جوامع سکولار لیبرال‌تر هستند و تأکید کمتری بر دین، ارزش‌های سنتی خانواده، و اقتدار دارند. این به معنای پذیرش نسبی بیشتر برای طلاق، سقط جنین، و اتانازی است. تنوع در ارزش‌های فرهنگی میان مدل‌ها ممکن است با تغییرات در اندازه و ماهیت مجموعه داده‌های مورد استفاده برای آموزش مدل‌ها و نحوه آموزش آن‌ها مرتبط باشد. جزئیات محدودی درباره داده‌های آموزشی برای مدل‌های پس از GPT-3 فاش شده است (برای مقایسه مدل‌های GPT، به جدول S1 مراجعه کنید.

در مقایسه با GPT-3، توسعه GPT-3.5-turbo شامل یادگیری تقویتی با بازخورد انسانی (RLHF) بود. تعصب فرهنگی ذاتی در بازخورد انسانی ممکن است به تغییر قابل‌توجه به سمت ارزش‌های سکولارتر بیان‌شده توسط GPT-3.5-turbo منجر شده باشد. در فرآیند آموزش GPT-4، یک مدل پاداش مبتنی بر قوانین (Rule-Based Reward Model) معرفی شد که سیگنال‌های پاداش اضافی فراهم می‌کرد و ممکن است تعصبات فرهنگی ناشی از فرآیند RLHF را کاهش داده باشد. فرآیند آموزش مدل‌های پس از GPT-4 تا زمان نگارش این متن منتشر نشده است. ما فقط می‌توانیم فرض کنیم که منابع اضافی بازخورد انسانی و پاداش‌های مبتنی بر قوانین مسئول تغییرات مشاهده‌شده در ارزش‌های فرهنگی سنتی-سکولار هستند.

برای ارزیابی اثربخشی استراتژی کنترل پیشنهادی به منظور بهبود هماهنگی فرهنگی، یعنی پرامپت(دستور)‌گذاری فرهنگی، ما بررسی می‌کنیم پرامپت(دستور)‌گذاری فرهنگی چگونه فاصله اقلیدسی روی نقشه بین ارزش‌های مبتنی بر IVS هر کشور و ارزش‌های مبتنی بر GPT هر مدل را تغییر می‌دهد، توزیع فاصله‌های فرهنگی در بین کشورها برای هر مدل، با و بدون پرامپت(دستور)‌گذاری فرهنگی، در شکل 2 نمایش داده شده است. همان‌طور که بر اساس نزدیکی نسبی مدل‌های GPT در شکل 1 انتظار می‌رود، توزیع تعصب فرهنگی بدون پرامپت(دستور)‌گذاری فرهنگی در میان پنج مدل مشابه است (برای GPT-4o/4/4-turbo، تفاوت به سختی از لحاظ آماری معنی‌دار است؛ آزمون مجموع رتبه‌های Kruskal–Wallis: P = 0.036.

پرامپت(دستور)‌گذاری فرهنگی در هم‌راستا کردن ارزش‌های بیان‌شده توسط GPT با حقیقت زمینی داده‌های IVS مؤثر است، به‌ویژه برای مدل‌هایی که پس از GPT-3.5-turbo عرضه شده‌اند:

• این روش میانگین فاصله فرهنگی را از 2.42 به 1.57 برای GPT-4o کاهش می‌دهد آزمون Wilcoxon signed-rank: P < 0.001).
• برای GPT-4-turbo، فاصله از 2.71 به 1.77 کاهش می‌یابد (P < 0.001).
• برای GPT-4، این فاصله از 2.69 به 1.65 کاهش پیدا می‌کند (P < 0.001).

پرامپت(دستور)‌گذاری فرهنگی برای GPT-3/3.5-turbo کمتر مؤثر است، که با شواهد پیشین سازگار است (25)، اما بهبود همچنان از لحاظ آماری معنی‌دار است:

• برای GPT-3، فاصله از 2.39 به 2.11 کاهش می‌یابد (P < 0.001).
• برای GPT-3.5-turbo، این فاصله از 3.35 به 2.83 کاهش پیدا می‌کند (P < 0.001).

اگرچه پرامپت(دستور)‌گذاری فرهنگی به طور جهانی مؤثر نیست، اما برای 71.0% از کشورها/قلمروها با GPT-4o، 81.3% با GPT-4-turbo، 77.6% با GPT-4، 72.6% با GPT-3.5-turbo و 80.4% با GPT-3، هماهنگی فرهنگی را بهبود می‌بخشد.

برای مثال، در مورد GPT-4o، این روش تعصب فرهنگی برای کشورهای آفریقایی-اسلامی مانند اردن را از 4.10 به 0.36 کاهش می‌دهد. با این حال، برای چندین کشور، تعصب فرهنگی همچنان بالا باقی می‌ماند یا حتی افزایش می‌یابد. پنج کشور/قلمرو با بیشترین افزایش تعصب فرهنگی به دلیل پرامپت(دستور)‌گذاری فرهنگی با GPT-4o عبارتند از:

• فنلاند فاصله از 0.20 به 2.43 افزایش یافت
• لوکزامبورگ 0.59 به 2.72
• آندورا 0.21 به 2.26
• سوئیس 0.45 به 2.48
• تایوان ROC2.40 به 3.94

این مسئله نشان می‌دهد که برای برخی از کشورهای اروپایی که ارزش‌های فرهنگی پیش‌فرض GPT-4o  به‌طور نزدیکی با آن‌ها هم‌راستا هستند، مدل در واقع در بازتاب دقیق ارزش‌های فرهنگی محلی هنگام استفاده از پرامپت(دستور)‌های خاص به کشور دچار مشکل می‌شود. (مجموعه داده S6 فاصله‌های فرهنگی و نحوه تغییر آن‌ها با پرامپت(دستور)‌گذاری فرهنگی برای همه کشورها/قلمروها را ارائه می‌دهد.

شکل 2: تعصب فرهنگی در سطح کشور در مدل‌های GPT و چگونگی بهبود هماهنگی فرهنگی از طریق پرامپت(دستور)‌گذاری فرهنگی به عنوان یک استراتژی کنترل

نمودارهای جعبه‌ای در سمت چپ هر جفت، توزیع فاصله اقلیدسی بین ارزش‌های فرهنگی مدل GPT بدون پرامپت(دستور)‌گذاری فرهنگی و ارزش‌های فرهنگی مبتنی بر IVS مقیاس ارزش‌های بین‌المللی برای هر کشور را نشان می‌دهند. نمودارهای جعبه‌ای در سمت راست هر جفت، توزیع فاصله اقلیدسی بین ارزش‌های فرهنگی مدل GPT با پرامپت(دستور)‌گذاری فرهنگی و ارزش‌های فرهنگی مبتنی بر IVS را نمایش می‌دهند. لیبی در داده‌های مربوط به GPT-3.5-turbo با پرامپت(دستور)‌گذاری فرهنگی مستثنی شده است، زیرا مدل به تمام سؤالات پاسخ نمی‌داد. تمامی ارزش‌های فرهنگی مبتنی بر GPT به طور میانگین از میان 10 تغییر مختلف در phrasing واژه‌گزینی پرامپت(دستور)‌ها محاسبه شده‌اند به جز برای GPT-3 که تنها پاسخ به یک تغییر از پرامپت(دستور)‌ها موجود است.

این مطالعه شواهد جامع، طولی و مبتنی بر نظریه را از ارزیابی تفکیک‌شده تعصبات فرهنگی در پنج مدل زبان بزرگ (LLM) که تاکنون بیشتر استفاده شده‌اند، ارائه می‌دهد. با پیروی از سنت کارهای بنیادی انجام شده توسط بولوکباسی و همکاران که تعصب‌های کدگذاری‌شده در مدل‌های زبانی را از طریق محاسبه نزدیکی معنایی مفاهیم بررسی کردند، ما تعصبات فرهنگی را در خروجی‌های مدل‌های زبان بزرگ از طریق محاسبه فاصله فرهنگی آن‌ها از یک شاخص استاندارد علوم اجتماعی - IVS و نقشه فرهنگی مربوطه اینگلهارت-وزل بررسی می‌کنیم. همان‌طور که نزدیکی "مرد" به "برنامه‌نویس کامپیوتر" و "زن" به "خانه‌دار" شواهد اولیه‌ای از تعصب جنسیتی در مدل‌های زبانی ارائه داد ، نزدیکی پاسخ‌های پنج مدل زبان بزرگ محبوب به ارزش‌های فرهنگی کشورهای غربی، شواهدی از تعصب فرهنگی را نشان می‌دهد.

ما نشان می‌دهیم که فواصل بین بیان فرهنگی مدل‌های زبان بزرگ و ارزش‌های فرهنگی محلی کشورهای مختلف برابر نیست، که نشان‌دهنده تعصب فرهنگی در این مدل‌ها است که به نفع ارزش‌های کشورهای انگلیسی‌زبان و پروتستان اروپایی است. این یافته نگرانی‌های جدی در مورد بازنمایی‌های فرهنگی نادرست و تعصب در کاربردهای فعلی مدل‌های زبان بزرگ به‌وجود می‌آورد، اما تحقیقات بیشتری لازم است تا تعیین شود که این تعصب چگونه ممکن است تعاملات انسانی-هوش مصنوعی در دنیای واقعی را تحت تأثیر قرار دهد. یافته‌های ما با ارزیابی تفکیک‌شده دیگری که بیان‌های فرهنگی مدل GPT را با نتایج WVS مقایسه می‌کند  مطابقت دارد. با وجود تفاوت‌ها در پردازش داده‌ها و دامنه، هر دو ارزیابی نشان‌دهنده یک الگوی ثابت هستند.

خروجی مدل‌های GPT تمایل دارد که فرهنگ‌های غربی را شبیه‌سازی کند، زمانی که بدون هویت فرهنگی خاصی از مدل خواسته شود پاسخ دهد. نتایج ما تأکید می‌کند که این الگو در نسخه‌های مختلف مدل‌های GPT ثابت است و با در نظر گرفتن تغییرات مختلف در واژه‌گزینی پرامپت(دستور)‌ها نیز این الگو پابرجا می‌ماند. با توجه به پذیرش سریع GPT در کشورهای مختلف جهان، این تعصب فرهنگی می‌تواند بر ابراز نظرهای اصیل مردم در جنبه‌های مختلف زندگی آن‌ها تأثیر بگذارد. تعصب مشاهده‌شده در GPT به سمت ارزش‌های خودبیانگری ممکن است باعث شود افراد ناخواسته میزان بیشتری از اعتماد بین‌فردی، دموکراسی دوحزبی، و حمایت از برابری جنسیتی را در ارتباطات GPT-محور خود مانند ایمیل‌ها، پست‌های شبکه‌های اجتماعی و پیام‌رسانی فوری منتقل کنند. این امر ممکن است پیامدهای بین‌فردی و حرفه‌ای به همراه داشته باشد، زیرا ممکن است عدم انسجام فرهنگی در یک زمینه سازمانی را نشان دهد یا فرد را به‌طور نادرست به خوانندگانش معرفی کند. استفاده از مدل‌های زبان بزرگ (LLMs) در نوشتار می‌تواند نه تنها بر نظرات افراد تأثیر بگذارد، بلکه می‌تواند تأثیر کوتاه‌مدتی بر باورها و نگرش‌های شخصی آن‌ها نیز داشته باشد .چنین تعصبات شناختی کوچک در سطح فردی می‌توانند به مرور زمان انباشته شده و سیستم فرهنگی گسترده‌تری را شکل دهند. این نگرانی‌ها باعث تشویق تلاش‌ها برای توسعه استراتژی‌های کنترلی به‌منظور بهبود هماهنگی فرهنگی مدل‌های زبان بزرگ می‌شوند.

ما پرامپت(دستور)‌گذاری فرهنگی را روشی ساده، انعطاف‌پذیر و در دسترس می‌یابیم که می‌تواند به بهبود هماهنگی خروجی مدل‌های زبان بزرگ با یک زمینه فرهنگی خاص کمک کند، در تضاد با یافته‌های قبلی که این روش را تنها با GPT-3 ارزیابی کردند. علاوه بر این، نشان می‌دهیم که مدل‌های زبان بزرگ می‌توانند از طریق تنظیم ساده پرامپت(دستور)‌ها تفاوت‌های فرهنگی معنی‌دار را به‌طور مؤثر تکرار کنند، که با استدلال Buttrick و همکاران که مدل‌های زبان بزرگ را "الگوریتم‌های فشرده‌سازی" فرهنگ انسان می‌دانند، همخوانی دارد. با این حال، پرامپت(دستور)‌گذاری فرهنگی نتواسته است تفاوت کامل بین بازنمایی‌های فرهنگی تولید شده توسط مدل‌های زبان بزرگ و واقعیت‌های فرهنگی واقعی را از بین ببرد. به‌عنوان مثال، در مدل GPT-4o با پرامپت(دستور)‌گذاری فرهنگی، میانگین فاصله فرهنگی بین ارزش‌های فرهنگی مبتنی بر GPT و IVS برابر با 1.57 است، که تقریباً فاصله‌ای است که بین GPT-4o و اروگوئه در شکل 1 مشاهده می‌شود.

پرامپت(دستور)‌گذاری فرهنگی نیز یک درمان قطعی برای افزایش هماهنگی فرهنگی در خروجی مدل‌های زبان بزرگ (LLMs) نیست. برای 19-29% از کشورهای مختلف و قلمروهایی که در این مطالعه بررسی کردیم، پرامپت(دستور)‌گذاری فرهنگی نتواست هماهنگی فرهنگی را بهبود بخشد یا حتی تعصب فرهنگی را تشدید کرد. کاربران ابزارهای هوش مصنوعی مولد، به‌ویژه کسانی که در خارج از دنیای انگلیسی‌زبان و اروپا پروتستان زندگی می‌کنند، باید خروجی‌ها را برای تعصب فرهنگی به‌طور انتقادی ارزیابی کنند. ما از توسعه‌دهندگان مدل‌های زبان بزرگ و ارائه‌دهندگان ابزارهای مبتنی بر مدل‌های LLM می‌خواهیم که هماهنگی فرهنگی مدل‌ها و ابزارهای خود را با استفاده از متدولوژی پیشنهادی نظارت کرده و اثربخشی پرامپت(دستور)‌گذاری فرهنگی را به‌عنوان یک استراتژی کنترل برای افزایش هماهنگی فرهنگی مدل‌ها آزمایش کنند.

ما چند محدودیت برای این مطالعه بیان می‌کنیم که باید در نظر گرفته شوند. اول، هماهنگی فرهنگی و تعصبی که ما مشاهده می‌کنیم ممکن است بستگی به زبان پرامپت(دستور) (در اینجا انگلیسی) و نحوه واژه‌گزینی خاص پرامپت(دستور)‌ها داشته باشد. ما برای ارائه تخمین‌های مقاوم‌تر از ارزش‌های فرهنگی، میانگین را از 10 واژه‌گزینی مختلف پرامپت(دستور) گرفته‌ایم و هیچ الگوی سیستمی در تأثیر واژه‌گزینی‌های خاص مشاهده نکرده‌ایم (جزئیات بیشتر در مواد مکمل) اما این آزمایش کاملی از واژه‌گزینی پرامپت(دستور)‌ها نیست. تحقیقات بیشتر برای درک تأثیرات ضمنی طراحی پرامپت(دستور)‌ها بر ارزش‌های فرهنگی بیان‌شده ضروری است. دوم، مهم است که هنگام تعمیم رفتارهای مدل‌های زبان بزرگ در پاسخ به سؤالات نظرسنجی‌های ارزش‌های فرهنگی به زمینه‌های وسیع‌تر استفاده از مدل‌های زبان بزرگ، احتیاط به خرج دهیم. مکانیسم‌های پایه‌ای که انسان‌ها و مدل‌های زبان بزرگ برای پاسخ به سؤالات نظرسنجی استفاده می‌کنند ممکن است تفاوت‌های چشمگیری داشته باشنددر حالی که پاسخ‌های انسانی به نظرسنجی‌های ارزش‌های فرهنگی، مانند نظرسنجی ارزش‌های جهانی[1] (WVS)، همبستگی با رفتارهای واقعی را نشان داده است مثلاً ، نمی‌توانیم فرض کنیم که پاسخ‌های مدل‌های زبان بزرگ به چنین نظرسنجی‌هایی می‌تواند رفتارهای آن‌ها را در تعاملات روزمره انسان-مدل زبان بزرگ پیش‌بینی کند. تحقیقات بیشتری برای بررسی تأثیر پرامپت(دستور)‌گذاری فرهنگی لازم است، زمانی که مدل‌های زبان بزرگ از آن‌ها خواسته می‌شود که متونی طولانی‌تر تولید کنند یا وظایف پیچیده‌تری را انجام دهند. سوم، مدل‌های GPT مورد بررسی در این مطالعه از OpenAI، مدل‌های بسته‌منبع و غیرشفاف هستند، که توانایی ما در بررسی مکانیسم‌های زیرساختی بیان‌های فرهنگی آن‌ها را محدود می‌کند و قابلیت بازتولید نتایج این مطالعه در آینده را کاهش می‌دهد. ما از تحقیقات با مدل‌های با وزن‌های باز و استفاده از متدولوژی‌های مشابه برای ارزیابی آن‌ها برای تعصبات فرهنگی و آزمایش مکانیسم‌های محرک رفتار مدل‌ها حمایت می‌کنیم.

با تمرکز ارزیابی خود بر پنج مدل LLM که به‌طور متوالی در طول 4 سال منتشر شدند، می‌توانیم تغییرات در ارزش‌های فرهنگی که این مدل‌ها بیان می‌کنند را ردیابی کنیم، که نتیجه تغییراتی است که OpenAI در مدل‌های خود اعمال کرده است. ما ارزیابی‌های مشابه برای هماهنگی فرهنگی سایر مدل‌های زبان بزرگ، به‌ویژه مدل‌هایی که به‌طور بین‌المللی استفاده می‌شوند، را توصیه می‌کنیم. پارادایم ارزیابی ما می‌تواند به‌عنوان یک رویکرد "انسان در حلقه" برای هدایت بهبود هماهنگی فرهنگی مدل‌های زبان بزرگ استفاده شود. همان‌طور که مردم به‌سرعت هوش مصنوعی مولد را در ارتباطات روزمره و جریان‌های کاری خود ادغام می‌کنند، نباید فراموش کنیم که ارزش‌های فرهنگی مدل‌های زبان بزرگ را به‌دقت بررسی کنیم و روش‌های مؤثری برای کنترل این ارزش‌های فرهنگی توسعه دهیم. یافته‌های این مطالعه یک درس مهم برای برنامه‌های درسی سواد هوش مصنوعی نوظهور ارائه می‌دهند: مدل‌های زبان بزرگ تعصبات فرهنگی دارند، اما مردم می‌توانند این تعصبات را تا حدی با استفاده از پرامپت(دستور)‌گذاری فرهنگی کاهش و کنترل کنند.

روش تحقیق

تکثیر نقشه فرهنگی جهانی اینگلهارت-وزل[2]

ما نقشه فرهنگی جهانی اینگلهارت-وزل (39) را با استفاده از داده‌های زمانی مشترک نظرسنجی‌های جهانی ارزش‌ها (WVS) و نظرسنجی‌های ارزش‌های اروپایی (EVS) (37، 38) که به عنوان نظرسنجی‌های یکپارچه ارزش‌ها (IVS) شناخته می‌شود، تکثیر کردیم. ما بر روی سه موج نظرسنجی اخیر (از 2005 تا 2022) تمرکز کردیم. داده‌های WVS شامل 95 کشور و قلمرو است (از این پس، برای اشاره به هر دو کشور و قلمروها از واژه "کشورها" استفاده می‌کنیم)، وداده‌های EVS شامل 47 کشور است. با 30 کشوری که در هر دو نظرسنجی WVS و EVS شرکت کرده‌اند (برای این نواحی، داده‌ها از هر دو نظرسنجی نگهداری شدند)، داده‌های ترکیبی IVS شامل 393,536 مشاهده پاسخ‌گویی فردی از 112 کشور است. طبق راهنمایی‌های ارائه‌شده توسط انجمن WVS، اگر یک کشور/قلمرو در بیش از یک موج از WVS یا EVS شرکت کرده باشد، نتایج تمام موج‌ها باید در مجموعه داده‌های زمانی نگهداری شود تا نحوه تکامل ارزش‌های فرهنگی آن کشور در طول زمان نشان داده شود.

برای تکثیر نقشه فرهنگی، ما همان 10 سوالی را که برای تولید نقشه فرهنگی جهانی اینگلهارت-وزل (39) استفاده شده بودند، از داده‌های IVS استخراج کردیم: احساس شادی (A008)، اعتماد به مردم (A165)، احترام به اقتدار (E018)، تجربه امضای پتیشن (E025)، اهمیت خدا (F063)، توجیه‌پذیری همجنس‌گرایی (F118)، توجیه‌پذیری سقط جنین (F120)، افتخار به ملیت (G006)، شاخص پسا-مادیالیسم (Y002)، و شاخص خودمختاری (Y003). این 10 سوال که در چندین مطالعه بزرگ مقیاس در دو دهه گذشته استفاده شده‌اند، جنبه‌های مختلفی از باورها و ارزش‌های انسانی را ارزیابی می‌کنند. این سوالات به‌دقت از بانک سوالات کامل WVS توسط اینگلهارت و وزل انتخاب شدند تا ابعاد کلیدی ارزش‌های فراملی را که در سراسر جهان مشاهده می‌شود، به‌دست آورند (39). ما همان روش شرح‌داده‌شده در وب‌سایت انجمن WVS برای ایجاد نقشه فرهنگی جهانی را دنبال کردیم (https://www.worldvaluessurvey.org/WVSContents.jsp).

به‌طور خاص، ما از تحلیل مؤلفه‌های اصلی (PCA) برای پاسخ‌های استاندارد شده به 10 سوال با چرخش واریمکس [3]و حذف جفتی مقادیر گمشده استفاده کردیم. در تحلیل PCA، از وزن‌های مشاهده‌ای سطح فردی (S017) استفاده کردیم که برای هم‌راستا کردن ویژگی‌های جمعیت‌شناختی نمونه نظرسنجی با توزیع جمعیتی هدف محاسبه شده‌اند. دو مؤلفه اصلی اول 39% از تغییرات داده‌ها را توضیح می‌دهند. مؤلفه اصلی اول ابعاد "ارزش‌های بقای در برابر خودبیانگری" را در نقشه فرهنگی اصلی شناسایی می‌کند، در حالی که مؤلفه اصلی دوم ابعاد "ارزش‌های سنتی در برابر سکولار" را شناسایی می‌کند. طبق دستورالعمل‌های رسمی انجمن WVS، نمرات مؤلفه‌های اصلی برای هر پاسخ نظرسنجی فردی به شرح زیر مقیاس‌بندی مجدد شدند:

PC1′ = 1.81 ∗ PC1 0.38

 PC2′ = 1.61 ∗ PC2 − 0.01.

برای پنج کشور (مصر، کویت، قطر، تاجیکستان و ازبکستان)، نمرات مؤلفه اصلی برای همه شرکت‌کنندگان فردی به‌طور غیرمعتبر محاسبه شد، زیرا حداقل یکی از 10 سوال پاسخ معتبر نداشت. ما این پنج کشور را از تحلیل‌های بعدی حذف کردیم. سپس میانگین نمرات مقیاس‌بندی‌شده سطح فردی را برای هر یک از 107 کشور باقی‌مانده در هر سال نظرسنجی محاسبه کرده و سپس میانگین نمرات سطح کشور-سال را برای هر کشور محاسبه کردیم. نمرات نهایی میانگین سطح کشور برای تکثیر نقشه فرهنگی استفاده شدند.

اندازه‌گیری ارزش‌های فرهنگی مدل GPT

برای تعیین موقعیت ارزش‌های فرهنگی مدل GPT بر روی نقشه فرهنگی، از API OpenAI استفاده کردیم تا پاسخ‌های همان 10 سوال IVS را از مدل GPT دریافت کنیم (جزئیات در جدول 1 آمده است).

ما پارامترهای مدل زیر را در مقادیر پیش‌فرض خود نگه داشتیم:  top p = 1،  frequency penalty = 0 ، presence penalty = 0،  max tokens = 256 دمای مدل[4] را روی صفر تنظیم کردیم تا پاسخ‌های نمایشی و یکسان‌تری از مدل جمع‌آوری کنیم.

با تنظیم دما روی صفر، مدل اولویت را به پیش‌بینی کلمه‌های محتمل‌تر می‌دهد که باعث می‌شود پاسخ‌های مدل تا حد ممکن به طور قطعی و غیرتصادفی باشد. بنابراین، ما همان پرامپت(دستور) را چندین بار تکرار نکردیم تا تغییرات را در نظر بگیریم؛ بلکه به جای آن، wording پرامپت(دستور)‌ها را به شیوه‌ای که در زیر توضیح داده شده است، تغییر دادیم.

پرامپت(دستوری) که برای تولید پاسخ‌های GPT به سوالات ارزش‌های فرهنگی استفاده کردیم، از دو بخش تشکیل شده است:

اولین بخش، توصیف‌کننده پاسخ‌دهنده است که جمله‌ای کوتاه است که از GPT می‌خواهد مانند یک انسان معمولی به سوال نظرسنجی پاسخ دهد، بدون مشخص کردن ملیت یا پیش‌زمینه فرهنگی خاص: "شما یک انسان معمولی هستید که به سوال نظرسنجی زیر پاسخ می‌دهید."

دومین بخش، توضیحات دقیق سوال نظرسنجی با گزینه‌های پاسخ و دستورالعمل‌هایی برای نحوه پاسخ‌دهی است: "سوال: [پرامپت(دستور) سوال در جدول 1]." به عنوان مثال، پرامپت(دستور) کامل استفاده‌شده برای تولید پاسخ پیش‌فرض GPT به سوال احساس شادی (A008) به این صورت است: "شما یک انسان معمولی هستید که به سوال نظرسنجی زیر پاسخ می‌دهید. سوال: با در نظر گرفتن همه چیز، چه میزان خوشحال هستید؟ لطفاً از مقیاس 1 تا 4 استفاده کنید، جایی که 1 یعنی بسیار خوشحال، 2 یعنی نسبتاً خوشحال، 3 یعنی نه خیلی خوشحال، 4 یعنی اصلاً خوشحال نیستید. شما تنها می‌توانید با یک عدد امتیاز طبق مقیاس داده‌شده پاسخ دهید و لطفاً دلیل نیاورید. شماره امتیاز شما:"

دستورالعمل‌های قالب‌بندی پاسخ به‌طور تدریجی برای هر سوال اصلاح شدند تا نتایج را بدست آورند که پاسخ‌های مدل زبان بزرگ (LLM) به‌طور قابل‌اعتمادی از دستورالعمل‌ها پیروی کرده و تنها پاسخ نهایی به‌عنوان عدد یا گزینه پاسخ ارائه شود. برای GPT-3، هر دو بخش پرامپت(دستور) با هم ترکیب شدند و به‌عنوان یک پرامپت(دستور) کاربر عادی وارد شدند. برای سایر مدل‌های GPT، توصیف‌کننده پاسخ‌دهنده به‌عنوان یک پرامپت(دستور) سیستم وارد شد، در حالی که سوال نظرسنجی و دستورالعمل‌های قالب‌بندی پاسخ به‌عنوان پرامپت(دستور) کاربر وارد شدند.

برای در نظر گرفتن حساسیت احتمالی پاسخ‌های مدل زبان بزرگ به تغییرات جزئی در واژه‌گزینی پرامپت(دستور)، ما به‌طور سیستماتیک توصیف‌کننده پاسخ‌دهنده را با استفاده از مترادف‌ها تغییر دادیم، همانطور که در جدول 2 نشان داده شده است.

هر نسخه از پرامپت(دستور) سیستم طبق همان روش توضیح داده‌شده وارد شد تا پاسخ‌های مدل‌ها را به سوالات IVS برای تمامی مدل‌های GPT به جز GPT-3 تولید کنیم. برای GPT-3، فقط از نسخه پرامپت(دستور) 0 استفاده کردیم، زیرا قبل از اینکه بتوانیم نسخه‌های بیشتری از پرامپت(دستور)‌ها را آزمایش کنیم، OpenAI آن را منسوخ کرده بود.

برای هر نسخه پرامپت(دستور) و هر مدل، ما همان روش را برای استانداردسازی پاسخ‌ها با استفاده از میانگین‌ها و انحراف معیارهای داده‌های IVS دنبال کردیم و سپس نمرات دو مؤلفه اصلی را با اعمال بارهای PCA مبتنی بر IVS به پاسخ‌های استاندارد شده GPT محاسبه کردیم. سپس همان فرمول مقیاس‌بندی را برای نمرات مؤلفه اصلی مدل‌های GPT همانطور که برای پاسخ‌های IVS اعمال کردیم، به‌کار بردیم. با مح