هوش مصنوعی و یادگیری ماشینی با وجود مزایا و قابلیتهای غیرقابل انکارشان، آسیبپذیریهای جدیدی را هم ایجاد میکنند. در این مطلب از فراست به شما خواهیم گفت که شرکتهای بزرگ چگونه مخاطرات امنیت پروژههای هوش مصنوعی و یادگیری ماشینی را به حداقل رسانده اند.
وقتی شرکتها به دنبال فناوریهای جدید هستند، با توجه به این که تلاش برای رعایت اصول امنیتی میتواند باعث افزایش هزینهها و کاهش سرعت شود بنابراین بحث امنیت، جزو اولویتهای اصلی آنها تلقی نمیشود و عرضه محصولات یا کالاهای جدید برای مشتریان و کاربران با بیشترین سرعت و کمترین هزینه ممکن، بالاترین اهمیت را دارد.
همچنین با توجه به امکان آسیبپذیری و پیکربندی نادرست هوش مصنوعی و یادگیری ماشینی، این فناوریها نیز مخاطرات مخصوص به خودشان را دارند. با حرکت به سمت تحول دیجیتال به کمک هوش مصنوعی توسط شرکتهای مختلف، این مخاطرات بیش از پیش افزایش پیدا میکنند. به گفته یکی از محققان امنیتی به نام “Raff”، «عجله و رفتار هیجانی در این حوزه به هیچ عنوان خوب نیست».
فناوریهای هوش مصنوعی و یادگیری ماشینی نسبت به سایر فناوریها به دادههای بیشتری نیاز دارند. حاصل پروژههای تحقیقاتی مختلف، الگوریتمهایی هستند که توسط ریاضیدانان و دانشمندان علم داده طراحی میشوند. به گفته Raff: «ما به عنوان یک جامعه علمی به تازگی متوجه شده ایم که هوش مصنوعی میتواند مشکلات امنیتی ایجاد کند».
حجم بالا و الزامات پردازشی زیاد باعث شده که در بیشتر مواقع از پلتفرمهای ابری برای انجام این کارها استفاده شود. در نهایت چنین موضوعی منجر به اضافه شدن یک لایه پیچیده دیگر و آسیبپذیری های جدید به آن میشود. جای تعجب نیست امنیت سایبری یکی از نگران کنندهترین مخاطرات برای اشخاصی است که به دنبال استفاده از هوش مصنوعی هستند. بر اساس نظرسنجی انجام شده توسط شرکت Deloitte، حدود 60 درصد از اشخاصی که از این فناوریها استفاده میکنند، مخاطرات امنیتی را یکی از دغدغههای مهم خودشان در نظر میگیرند. با این حال فقط 40 درصد از آنها اعلام کرده اند آمادگی لازم برای مقابله با این مخاطرات را دارند.
مسألهای که باعث تشدید این مشکلات شده این واقعیت مهم است که در حال حاضر یکی از کاربردهای هوش مصنوعی، در حوزه امنیت سایبری است. به گفته Jeff Loucks، مدیر اجرایی مرکز فناوری، رسانه و ارتباطات راه دور Deloitte هر چقدر تجربه سازمانها در زمینه هوش مصنوعی بیشتر باشد، نگرانی آنها نسبت به مخاطرات امنیتی این فناوری نیز افزایش پیدا میکند.
همچنین حتی سازمانهای مجرب هم از اصول امنیتی ساده ای همچون تهیه فهرست پروژههای هوش مصنوعی و یادگیری ماشینی، انجام بازرسی و تست پیروی نمیکنند. به گفته Loucks: «در حال حاضر شرکتها کار پیادهسازی این فناوری را با روشهای صحیح انجام نمیدهند».
نیازهای خاص هوش مصنوعی و یادگیری ماشینی باعث ایجاد مخاطرات امنیتی میشود.
سیستمهای هوش مصنوعی و یادگیری ماشینی به سه مجموعه داده نیاز دارند:
- دادههای آموزشی، برای ایجاد مدل پیشبینی کننده
- دادههای آزمایشی، برای ارزیابی عملکرد مدل
- دادههای عملیاتها یا تراکنشهای زنده، وقتی مدل شروع به کار کند.
بدیهی است که دادههای عملیاتی و تراکنشی جزو داراییهای ارزشمند سازمان هستند اما باید توجه داشت که ممکن است دادههای آموزشی و آزمایشی هم حاوی اطلاعات حساسی باشند.
بسیاری از اصول مورد استفاده برای حفاظت از دادهها در سایر سیستمها از جمله ناشناس سازی و رمزنگاری، در پروژههای هوش مصنوعی و یادگیری ماشینی هم قابل اعمال است. در اولین گام باید از خودتان بپرسید که آیا استفاده از این دادهها ضرورتی دارد یا خیر؟ ممکن است در طول آماده سازی پروژههای یادگیری ماشینی و هوش مصنوعی، هر نوع دادهای جمعآوری شود تا در آینده کارهای قابل انجام با آن ارزیابی شود.
تمرکز بر پیامدهای کاری میتواند به سازمانها کمک کند تا دادهها را فقط برحسب ضرورت جمعآوری کنند. به گفته John Abbatico، مدیر ارشد فناوری شرکت Othot (شرکتی که دادههای دانش آموزان را برای مؤسسات آموزشی تحلیل میکند)، «گاهی وقت ها تیمهای فعال در حوزه تحلیل داده به شدت تشنه داده میشوند. ما در رابطه با کار با دادههای دانش آموزان این نکته را شفاف سازی کردیم که نیازی به اطلاعات بسیار حساس از جمله اطلاعات هویتی وجود ندارد و هرگز جزو دادههایی که ما در اختیار تیم خودمان قرار میدهیم، نیستند».
البته احتمال رخداد خطای انسانی نیز وجود دارد. مثلاً گاهی اوقات مشتریان، اطلاعات حساسی مثل شماره ملی خودشان را ارایه میکنند. چنین اطلاعاتی به بهبود عملکرد مدل کمکی نمیکنند و در عین حال باعث تشدید مخاطرات میشوند. به گفته Abbatico تیم او یک فرایند مشخص برای شناسایی اطلاعات حساس، پاک کردن آن از سیستمها و اطلاع رسانی به مشتریها درباره این خطا دارد. وی همچنین گفته است که: «با وجود آن که ما چنین اشتباهی را یک حادثه امنیتی تلقی نمیکنیم ولی رویکرد ما همیشه به همین صورت است».
همچنین سیستمهای هوش مصنوعی به دنبال دادههای زمینه سازی شدهای هستند که میتواند سطح مخاطره را به میزان چشمگیری افزایش دهد. فرض کنید یک شرکت بیمه سعی دارد عادتهای رانندگی مشتریانش را بهبود بخشد. این شرکت میتواند برای رسیدن به این هدف مجموعه دادههای مربوط به خرید، رانندگی، موقعیت جغرافیایی و غیره را جمعآوری کند. همچنین این دادهها را میتوان به راحتی به هم ارتباط داده و با حساب کاربری مشتریان تطبیق داد. این مجموعه داده جدید و بسیار غنی، برای هکرها جذابتر است و در صورت افشا هم آسیب بیشتری به شهرت و اعتبار سازمان وارد میکند.
امنیت هوش مصنوعی در طراحی
پلتفرم به اشتراک گذاری فایل Box یکی از پلتفرمهایی است که دادههای زیادی دارد و باید از آنها حفاظت کند. Box از هوش مصنوعی برای استخراج ابرداده (Metadata) و بهبود نتایج جستجو، دسته بندیها و سایر قابلیتها استفاده میکند. به گفته Lakshmi Hanspal مدیر ارشد امنیت اطلاعات Box: «برای مثال ما میتوانیم شرایط قرارداد، وضعیت تمدید و اطلاعات قیمتی را از قراردادها استخراج کنیم. بیشتر مشتریان ما مربوط به عصری هستند که در آن طبقه بندی محتوا یا توسط کاربر تعریف میشد یا کاملاً از آن صرف نظر میگردید. حالا ما روی کوهی از دادههای ارزشمند قرار داریم که به این شرط که این دادهها بدون مداخله انسان و به شکل خودکار طبقه بندی شوند میتوانند برای تحول دیجیتال بسیار مفید باشند».
به گفته Hanspal: «حفاظت از دادههای کاربران یکی از اصول مهم Box است و این استانداردهای حفاظت از دادهها به سیستمهای هوش مصنوعی هم اعمال میشوند». وی همچنین گفته که: «ما در Box بر این باوریم که در اصل، این اعتماد است که ما آن را میسازیم، میفروشیم و نگه میداریم. ما واقعاً معتقدیم که این رویکرد باید در همه محصولات و پیشنهادهایی که در اختیار شرکا و مشتریان مان قرار میدهیم، حفظ شود».
بنابراین همه سیستمها از جمله پروژههای جدید مجهز به هوش مصنوعی همگی بر اساس اصول امنیتی یکسان مثل رمزنگاری، ثبت گزارش، نظارت، احراز هویت و کنترل دسترسی ایجاد میشوند. به گفته Hanspal: «اعتماد دیجیتال، جزئی جدایی ناپذیر از پلتفرم ما است و ما آن را عملیاتی میکنیم».
Box یک فرایند توسعه امن برای کدهای سنتی و همچنین سیستمهای مجهز به هوش مصنوعی و یادگیری ماشینی جدید دارد. Hanspal میگوید: «ما در زمینه توسعه محصولاتی امن، بر اساس استانداردهای صنعتی ایزو کار میکنیم. بحث امنیت در طراحی یکی از نکات مهم مورد توجه ما است و سعی میکنیم در همه کارها از جمله آزمون نفوذپذیری و مانورهای تیم قرمز، تعادل لازم را برقرار کنیم. این یک فرایند استاندارد است و پروژههای هوش مصنوعی و یادگیری ماشینی از این اصل مستثنی نیستند».
معمولاً متخصصان علم داده و ریاضیدانها هنگام نوشتن کد الگوریتمهای هوش مصنوعی و یادگیری ماشینی نگرانیهای زیادی درباره آسیبپذیریهای احتمالی ندارند. وقتی سازمانها سیستم هوش مصنوعی میسازند، این کار را بر اساس الگوریتمهای کد منبع باز انجام داده و از سیستمهای هوش مصنوعی تجاری «جعبه سیاه» استفاده کرده یا این که کل کارها را دوباره از صفر شروع میکنند.
در صورت استفاده از کدهای اپن سورس این احتمال وجود دارد که مهاجمان، کدهای مخربی در آنها تزریق کرده باشند یا این که کد مورد استفاده دارای آسیبپذیری یا وابستگیهای آسیبپذیر باشد. سیستمهای تجاری اختصاصی هم معمولاً از این کدهای منبع باز و کدهای جدیدی استفاده مینمایند که شرکتهای مصرف کننده این کدها قادر به بررسی کامل آنها نیستند.
حملات وارونگی، تهدیدی جدی
معمولاً همه سیستمهای هوش مصنوعی و یادگیری ماشینی، ترکیبی از کتابخانههای کد منبع باز و کدهای جدیدی هستند که توسط اشخاصی که کارشناس امنیت نیستند، نوشته می شوند. همچنین برای نوشتن الگوریتمهای هوش مصنوعی امن، هیچ روش توصیه شده و استانداری وجود ندارد. با توجه به کمبود نیروی متخصص و کارشناس داده، اشخاصی که در هر دو حوزه تخصص داشته باشند هم بسیار کم پیدا میشود.
یکی از مهمترین مخاطرات بالقوه برای الگوریتمهای هوش مصنوعی و یادگیری ماشینی و تهدید بلندمدتی که Raff از شرکت بوز آلن همیلتون بیش از هر چیزی نگران آن است، احتمال دسترسی مهاجمان به دادههای آموزشی است. به گفته او: «حملهای موسوم به حمله وارونگی وجود دارد که در آن میتوانید یک مدل هوش مصنوعی را دریافت کرده و اطلاعاتی درباره مدل و آنچه یاد گرفته است را به دست آورید. اگر این مدل با دادههای هویتی آموزش دیده باشد میتوانید از آن برای دستیابی به اطلاعات حساس استفاده کنید».
به گفته Raff این یکی از حوزههای جذاب برای تحقیق و نیز یکی از مشکلات مهم است. بعضی از ابزارها می توانند از اطلاعات حساس در برابر حملات وارونگی حفاظت کنند اما انجام این کار پرهزینه است. وی میگوید: «ما در جریان هستیم که چگونه مانع انجام این کار شویم ولی چنین کاری میتواند هزینه آموزش مدلها را تا صد برابر افزایش دهد. به عبارت دیگر، انجام این کار صد برابر پرهزینهتر و طولانیتر از آموزش مدل است. به همین خاطر هیچ شخصی چنین کاری را انجام نمیدهد».
مسألهای که قابل توضیح نیست را نمی توان امنسازی کرد.
یکی دیگر از حوزههای تحقیق و مطالعه، قابل توضیح بودن است. امروزه بسیاری از سیستمهای هوش مصنوعی و یادگیری ماشینی، از جمله ابزارهای مجهز به یادگیری ماشینی شرکتهای امنیت سایبری مهم، در اصل سیستمهای «جعبه سیاه» هستند. به گفته Sounil Yu مدیر ارشد امنیت اطلاعات شرکت سرمایه گذاری YL Ventures، «شرکتها قابلیت توضیح و تشریح را در ابزارهای خودشان پیادهسازی نمیکنند. در حوزه امنیت، توانایی توضیح رخدادهای پیش آمده بسیار مهم است. اگر نتوانیم توضیح دهیم که چه اتفاقی رخ داده، پس چگونه میتوانیم مشکل را رفع کنیم؟».
برای شرکتهایی که سیستمهای هوش مصنوعی یا یادگیری ماشینی خودشان را میسازند، زمانی که اتفاقی رخ دهد امکان بازگشت به عقب و بررسی دادههای آموزشی و الگوریتمها و همچنین رفع مشکل وجود دارد. به گفته Yu: «اگر سیستم را با استفاده از ساختههای شخص دیگری راهاندازی کنید، هیچ اطلاعی ندارید که برای آن سیستم از چه دادههای آموزشی استفاده شده است».
امنسازی مواردی که فراتر از خود الگوریتمها هستند.
یک سیستم هوش مصنوعی صرفاً یک موتور پردازش زبان طبیعی، یک الگوریتم طبقه بندی یا یک شبکه عصبی نیست. حتی اگر این قطعهها همگی امن باشند، باز هم سیستم باید با کاربران و پلتفرمهای بکاند کار کند.
آیا در سیستم از احراز هویت و اصول کمترین سطح دسترسی استفاده شده است؟ آیا ارتباطات با پایگاه داده بکاند امنسازی شدهاند؟ منابع داده شخص ثالث چطور؟ آیا رابط کاربری آن در برابر حملات تزریق کد مقاوم است؟
یکی دیگر از عوامل خاص ناامنی پروژههای هوش مصنوعی و یادگیری ماشینی متخصصان داده هستند. به گفته Abbatico: «این اشخاص، بی دلیل خودشان را متخصص یا دانشمند داده میدانند. متخصصان کاربلد، آزمایشهایی با دادهها انجام میدهند که منجر به شکل گیری مدلهای قوی میشود اما ممکن است این آزمایشها باعث رفتارهای پرخطری شوند که امنیت دادهها را تهدید کند». احتمال دارد این افراد دادهها را به مکانهایی ناامن منتقل کرده یا پس از انجام کار، مجموعه دادههای نمونه را حذف کنند.
به گفته Peter Herzog مدیر محصولات در مؤسسه Urvin AI و بنیانگذار سازمان تحقیقات امنیتی غیرانتفاعی ISECOM، «واقعیت این است که بزرگترین مخاطره در بیشتر مدلهای هوش مصنوعی، خود هوش مصنوعی نیست». به گفته او، مشکل افراد هستند: «چون خود افراد درباره چگونگی آموزش به آنها تصمیم گیری میکنند بنابراین هیچ مدل هوش مصنوعی عاری از مشکلات امنیتی نیست و این افراد هستند که تصمیم میگیرند از چه دادههایی استفاده شود؛ آنها مشخص میکنند به دنبال پیشبینی چه چیزی هستند و چقدر از این اطلاعات باید افشا شود».
یکی دیگر از مخاطرات که امنیت پروژههای هوش مصنوعی و یادگیری ماشینی را تهدید میکند، بحث مسمومیت دادهها است که در آن مهاجمان، اطلاعاتی را به سیستم تزریق میکنند تا به این وسیله آن را ملزم به انجام پیشبینیهای نادرست کنند. برای مثال ممکن است مهاجمان، سیستمها را فریب داده تا چنین تصور کنند که یک نرمافزار مخرب امن است. برای دستیابی به این هدف میتوانند نمونههایی از نرمافزارهای سالم که نشانه هایی شبیه به بدافزار دارد را به سیستم تزریق کنند.
به گفته Raff این یک نگرانی مهم برای سازمانها محسوب میشود: «در حال حاضر در جریان نیستم که آیا سیستمهای هوش مصنوعی مورد هدف چنین حملاتی قرار گرفتهاند یا خیر. این تهدید میتواند در آینده، واقعیتر و جدیتر شود اما در حال حاضر ابزارهای قدیمی مورد استفاده مهاجمان برای پیشگیری از شناسایی هنوز هم کارایی دارند. بنابراین لازم نیست کار خودشان را سختتر کنند».
پیشگیری از یکسویه شدن مدل
وقتی از سیستمهای هوش مصنوعی و یادگیری ماشینی برای امنیت سازمانی مثلاً برای تحلیل رفتار، نظارت بر ترافیک شبکه یا استخراج دادهها از شبکه استفاده میشود ممکن است یکسویه شدن مدل، منجر به ایجاد مخاطره شود. یک مجموعه داده خاص که نشان دهنده یک حمله ویژه است یا این که قدیمی و منسوخ شده باشد میتواند به سرعت سازمانها را آسیبپذیر کند به خصوص با توجه به این که کاربرد هوش مصنوعی در سیستمهای دفاعی روز به روز هم بیشتر میشود. به گفته Raff: «باید مدل را به صورت مستمر بهروزرسانی کرده و این کار را به شکل دائم انجام داد».
در بعضی از موارد ممکن است آموزش به صورت خودکار انجام شود. برای مثال تطبیق دادن یک مدل با تغییر الگوهای آب و هوا و زمانبندی زنجیره تأمین میتواند به قابل اطمینان شدن آنها به مرور زمان کمک کند. وقتی منبع اطلاعات شامل حملاتی مخرب باشد باید مجموعه داده آموزشی با دقت مدیریت شود تا از مسمومیت و دستکاری آن جلوگیری شود.
سازمانها همین حالا هم مثل وقتی که پلتفرمهای تشخیص چهره یا استخدام به ضرر خانمها یا اقلیتهای نژادی کار میکنند، با مشکل اخلاقی الگوریتمها دست و پنجه نرم میکنند. وقتی یکسویه شدن در الگوریتمی ایجاد شود، ممکن است باعث ایجاد مشکل قانونی شود و در حوزههای پزشکی و اتومبیلهای خودکار میتواند تهدیدی برای جان انسانها باشد.
همانطور که الگوریتمها میتوانند در پیشبینیها جانبدارانه عمل کنند میتوان از آنها برای کنترل جانبداری و اغماض هم استفاده کرد. برای مثال Othot به دانشگاهها کمک میکند تا به اهدافی مثل بهینه سازی ابعاد کلاسها یا اهداف مالی دست پیدا کنند. ایجاد مدلهایی فاقد محدودیتهای لازم میتواند به راحتی باعث ایجاد اغماض شود. به گفته Abbatico: «مقابله با جانبداری الگوریتمها نیاز به تلاش زیادی دارد. در نظر گرفتن بحث تنوع میتواند به مدلها کمک کند تا به این اهداف برسند و به مقابله با جانبداری که در صورت در نظر نگرفتن محدودیت ایجاد میشود، کمک میکند».
ابهام آینده هوش مصنوعی
همه سیستمهای هوش مصنوعی و یادگیری ماشینی به دادهها، الگوریتمهای پیچیده و پردازندههایی قوی نیاز دارند که برحسب نیاز، افزایش مقیاس پیدا میکنند. شرکتهای بزرگ حوزه رایانش ابری برای اجرای سریعتر و راحتتر کارها پلتفرمهای علوم داده را در اختیار کاربران قرار میدهند. این یعنی دانشمندان علوم داده نیازی به انتظار برای آماده شدن سرورهای مورد نیازشان نخواهند داشت. کافی است چند فرم در یک پلتفرم آنلاین را پر کرده و کارشان را شروع کنند.
بر اساس نظرسنجی Deloitte AI، حدود 90 درصد از شرکتها از نوعی هوش مصنوعی مبتنی بر ابر استفاده میکنند. Loucks که یکی از کارشناسان این شرکت است، میگوید: «این پلتفرمها به سادهتر شدن شروع کار کمک میکنند». سپس این پروژهها تبدیل به سیستمهایی عملیاتی شده و وقتی افزایش مقیاس پیدا میکنند، مشکل پیکربندی چندین برابر تشدید میشود. ممکن است در این سرویسهای جدید، پیکربندی خودکار و متمرکز قابل انجام نبوده و داشبورد مدیریت امنیت در آنها وجود نداشته باشد. به این ترتیب شرکتها باید منتظر فروشنده این سیستمها بمانند تا کارهای لازم را برایشان انجام دهد.
وقتی کاربران این سیستمها، شهروندان یا کارشناسان داده و نیز محققان فاقد تجربه قوی در حوزه امنیت باشند، این مسأله میتواند مشکل آفرین شود. همچنین معمولاً اولویت اصلی شرکتها امکانات است و امنیت بعد از آن قرار دارد. وقتی سیستمها به سرعت مستقر شده و بعد به سرعت افزایش مقیاس پیدا میکنند، این موضوع میتواند مشکل آفرین باشد. قبلاً هم شاهد وقوع این اتفاق برای تجهیزات اینترنت اشیاء، رسانههای ذخیره اطلاعات و مخازن ابری بوده ایم.
حالا آگاهی فروشندگان پلتفرمهای هوش مصنوعی نسبت به این تهدید افزایش یافته و از اشتباهات گذشته درس میگیرند. به گفته Raff هم اکنون میزان توجه به بحث امنیت نسبت به گذشته بیشتر شده و جامعه فعال در حوزه یادگیری ماشینی نگرانی بیشتری نسبت به این مسأله پیدا کرده است.
Irfan Saif مسئول و مدیر هوش مصنوعی شرکت Deloitte با این گفتهها به خصوص در رابطه با پلتفرمهای ابر مهمی که از کارهای مربوط به هوش مصنوعی پشتیبانی میکنند، موافق است. به گفته او این پلتفرمها نسبت به قبل، از نظر قابلیتهای امنیت سایبری رشد و تکامل بیشتری پیدا کردهاند.
چکلیست برای حفظ امنیت پروژههای هوش مصنوعی
چکلیست زیر توسط شرکت Deloitte برای کمک به افزایش امنیت پروژههای هوش مصنوعی گردآوری شده است:
- یک فهرست رسمی و تأیید شده از همه پروژههای هوش مصنوعی داشته باشید.
- مدیریت مخاطره هوش مصنوعی را با تلاشهای گسترده خودتان برای مدیریت مخاطرات همگام کنید.
- یک مدیر اجرایی مسئول برای مخاطرات مربوط به هوش مصنوعی داشته باشید.
- بازرسی ها و ارزیابیهای داخلی لازم را انجام دهید.
- از سایر شرکتها درخواست کنید بازرسی ها و آزمونهای مستقل را برای شما اجرا کنند.
- به اشخاص مسئول آموزش دهید که چگونه مشکلات اخلاقی مربوط به هوش مصنوعی را شناسایی و حل کنند.
- با سایر نهادها برای تعیین بهترین روشهای پیادهسازی هوش مصنوعی اخلاقی مذاکره و همکاری کنید.
- مطمئن شوید که همه فروشندههایی که از محصولاتشان استفاده میکنید، سیستمهایی بدون جانبداری در اختیار شما قرار میدهند.
- سیاستها یا دستورالعملهای لازم برای هوش مصنوعی اخلاقی را تعیین کنید.
منبع: csoonline