هوش مصنوعی مولد دسترسی به قابلیت‌هایی را دموکراتیک کرده است که پیش از این، به دلیل نیاز به حجم بالای داده آموزشی و قدرت پردازشی قابل‌توجه، برای بسیاری از سازمان‌ها در دسترس نبودند.

گسترش استفاده از GenAI می‌تواند فرصت بزرگی برای کسب‌وکارها ایجاد کند؛ اما زمانی که سازمان بدون ایجاد یک چارچوب مناسب هوش مصنوعی مسئولانه (Responsible AI یا RAI) از همان ابتدای استقرار، به سمت توسعه گسترده این فناوری حرکت کند، ریسک‌ها نیز افزایش می‌یابند.

مهم‌ترین چالش‌ها عبارت‌اند از:

۱. قابلیت‌های ناشناخته

مدل‌های بزرگ GenAI گاهی قابلیت‌هایی فراتر از آنچه در زمان طراحی و توسعه برایشان پیش‌بینی شده است، از خود نشان می‌دهند. برخی از این قابلیت‌ها یا حتی خطرات احتمالی ممکن است برای توسعه‌دهندگان نیز ناشناخته و غیرمنتظره باشند. اگر سازوکارهای کنترلی و محدودکننده مناسبی وجود نداشته باشد، استفاده غیرمنتظره از این قابلیت‌ها می‌تواند برای سازمان خطرآفرین باشد.

۲. سوگیری و محتوای مخرب

خروجی هوش مصنوعی مولد تا حد زیادی به داده‌هایی وابسته است که مدل بر اساس آن‌ها آموزش دیده است. بسیاری از مدل‌های زبانی پرکاربرد با داده‌های گسترده اینترنت آموزش یافته‌اند؛ محیطی که در آن علاوه بر اطلاعات ارزشمند، حجم قابل‌توجهی از سوگیری، زبان نامناسب و محتوای مخرب نیز وجود دارد.

۳. نشت اطلاعات و داده

بسیاری از شرکت‌ها برای جلوگیری از واردکردن اطلاعات حساس به مدل‌های هوش مصنوعی مولد، سیاست‌های مشخصی برای کارکنان خود تدوین کرده‌اند. نگرانی اصلی این است که اطلاعات محرمانه واردشده در سیستم، به شکلی نامناسب مورد استفاده قرار گیرد یا در آینده در خروجی‌های عمومی ظاهر شود.

۴. توهم هوش مصنوعی (Hallucination)

سیستم‌های GenAI ممکن است پاسخ‌هایی تولید کنند که کاملاً منطقی، معتبر و متقاعدکننده به نظر برسند، اما در واقع کاملاً اشتباه باشند. این پدیده که در حوزه هوش مصنوعی با عنوان «توهم» شناخته می‌شود، یکی از عوامل مهم محدودکننده قابلیت اعتماد به پاسخ‌های تولیدشده توسط مدل‌های هوش مصنوعی است.

۵. نبود شفافیت کافی

مدل‌های GenAI معمولاً درباره منابع و شواهدی که مبنای تولید یک محتوا یا ادعا قرار گرفته‌اند، اطلاعات کافی ارائه نمی‌کنند. در نتیجه، بررسی صحت برخی از ادعاهای تولیدشده دشوار می‌شود و همین مسئله می‌تواند خطر ناشی از توهمات هوش مصنوعی را افزایش دهد.