راهنمای کامل معرفی و کار با ابزارهای جمع‌آوری اطلاعات

در دنیای فناورانه امروزی، وب‌سایت‌های بی‌شماری وجود دارند که هر کدام از آنها دارای اطلاعات بسیار زیادی هستند. اگرچه حجم بسیار زیادی از این اطلاعات به صورت رایگان در دسترس عموم قرار دارد اما برای دسترسی به اطلاعات و داده‌های ضروری درباره موضوعی خاص و رسیدن به یک دید جامع درباره آن موضوع، نیاز به روش‌های پیشرفته‌ای برای جستجو است.

یکی از این روش‌های جستجوی پیشرفته در بین تعداد زیاد منابع آزاد اطلاعاتی، OSINT[1] است. هدف از این جستجو، دستیابی به منابع مفید و قابل استفاده‌ای می‌باشد که به صورت آگاهانه مورد بررسی قرار می‌گیرند. ابزارهای مختلفی برای جستجو در وب‌سایت‌ها به روش تحقیق و پژوهش OSINT وجود دارد. در این مطلب از فراست، مهمترین این ابزارها را شرح داده و شیوه عملکرد آنها را بررسی می‌کنیم.

Recon-ng

یکی از ابزارهای وب‌شناسی که به شما امکان می‌دهد اطلاعات مورد نیازتان را جمع‌آوری نموده و شبکه را به صورت خودکار شناسایی کنید، نرم‌افزار متن‌باز[2] Recon-ng است. این نرم‌افزار به صورت رایگان در اختیار کاربران قرار داشته و شامل دانشنامه‌ای با اطلاعات جامع درباره نحوه عملکرد و شروع کار با آن است.

theHarvester

یکی از ساده‌ترین ابزارهایی که برای تحقیق و پژوهش در وب‌سایت‌ها به روش OSINT وجود دارد، “theHarvester” است. این ابزار، اطلاعات موجود در شبکه‌های داخلی را شناسایی نموده و توانایی جمع آوری اطلاعات عمومی که خارج از محیط شبکه سازمان قرار دارند را هم دارد. ابزارهایی که توسط theHarvester مورد استفاده قرار می‌گیرند عموماً با اینترنت و دنیای بیرون در تعامل هستند. از این نرم افزار می‌توان به عنوان یک ابزار مقدماتی برای تست نفوذ و شناسایی آسیب پذیری های احتمالی استفاده کرد.

منابع مورد استفاده theHarvester شامل موتورهای جستجوی محبوبی از جمله گوگل، بینگ و همچنین موتورهای کمتر شناخته‌ شده‌ای مثل dogpile، DNSdumpster و Exalead هستند. این ابزار از فناوری داده کاوی Netcraft و مبادله هوش باز AlienVault استفاده کرده و حتی می‌تواند به کمک موتور جستجوی Shodan، پورت‌های باز سیستم های میزبان شناسایی شده را تشخیص دهد.

theHarvester می‌تواند بدون نیاز به هیچ‌گونه آماده‌سازی خاصی به حجم زیادی از منابع اطلاعاتی عمومی از جمله ایمیل‌ها، نام‌ها، دامنه‌های فرعی، آی‌پی‌ها و نشانی‌های وب دسترسی پیدا کند. بعضی از منابع مورد استفاده این ابزار، نیازمند API هستند. theHarvester با زبان پایتون نوشته شده و امکان دسترسی به آن در گیت‌هاب وجود دارد. توصیه می‌شود اگر قصد کپی کردن کد از این منبع را دارید، از virtualenv برای ایجاد یک محیط پایتون تفکیک شده استفاده کنید.

Shodan

Shodan یک موتور جستجوی اختصاصی است که برای شناسایی و جمع‌آوری اطلاعات کمیاب درباره دستگاه‌های مختلف همچون تجهیزات اینترنت اشیا که قابل جستجو نبوده و در همه جا نیز وجود دارند، مورد استفاده قرار می‌گیرد. این ابزار قابلیت پیدا کردن اطلاعاتی مثل پورت‌های باز و آسیب‌پذیری‌های سیستم‌های هدف را دارد. یکسری دیگر از ابزارهای OSINT مثل theHarvester از این ابزار به عنوان منبع داده استفاده می‌کنند. اگر قصد استفاده از قابلیت‌های بیشتر و حرفه‌ای‌تر Shodan را دارید باید نسبت به تهیه اشتراک آن اقدام نمایید.

Shodan امکان نظارت و جستجوی نقاط بسیار زیاد را دارد. یکی از ویژگی‌هایی که Shodan را از سایر ابزارهای OSINT متمایز می‌کند این است که می‌تواند بررسی فناوری عملیاتی (OT) مانند سیستم‌های کنترل صنعتی را در مکان‌هایی مثل صنایع تولیدی و نیروگاه‌های برق انجام دهد. هر گونه تلاش برای جمع‌آوری OSINT در صنایعی که فناوری اطلاعات و فناوری عملیات در آنها وجود دارد، بدون استفاده از ابزاری مثل Shodan ناقص خواهد بود.

Shodan قادر است علاوه بر تجهیزات اینترنت اشیا مثل دوربین‌ها، دستگاه‌های امنیتی و حسگرهای ساختمان‌ها منابعی مانند پایگاه‌های داده را هم جستجو نموده و اطلاعات موجود در آنها را از طریق روش‌های متفاوت استخراج کند. این ابزار قابلیت کار با بازی‌های ویدیویی را نیز داشته و حتی وجود بازی‌هایی مثل ماین‌کرفت را در شبکه‌های سازمانی که نباید در آنها وجود داشته باشد، به همراه آسیب‌پذیری‌هایی که ممکن است ایجاد نمایند شناسایی می‌کند.

کاربران می‌توانند با پرداخت 59 دلار، مجوز فریلنسر Shodan را خریداری نموده و از آن برای جستجوی 5120 آدرس آی‌پی در ماه جهت دستیابی به میلیون‌ها نتیجه جستجو استفاده کنند. این سرویس یک طرح سازمانی هم دارد که امکان جستجوی 300 هزار آدرس آی‌پی را در هر ماه فراهم می‌کند. کاربران ماهانه با پرداخت 899 دلار می توانند با استفاده از این طرح به نتایج نامحدودی دست یابند.

Metagoofil

یکی دیگر از ابزارهای رایگان موجود در گیت‌هاب، Metagoofil است که برای استخراج ابرداده‌ها از اسناد عمومی بهینه‌سازی شده از آن استفاده می شود. Metagoofil می‌تواند تقریباً هر نوع فایلی را که از طریق کانال‌های عمومی قابل استخراج است (مثل فایل‌های .pfd، .doc، .ppt، .xls و غیره) بررسی کند.

حجم داده‌های جالب توجهی که Metagoofil قادر به جمع‌آوری آنها می‌باشد، بسیار زیاد است. جستجو در این ابزار، اطلاعاتی همچون نام کاربری مرتبط با اسناد پیدا شده و نام واقعی آنها را در صورت در دسترس بودن در اختیار شما قرار می‌دهد. Metagoofil همچنین مسیر دسترسی به این اسناد را نیز تعیین می‌کند. از این رو اطلاعاتی مثل نام سرور، منابع به اشتراک‌گذاری شده و اطلاعات درخت دایرکتوری درباره سازمان میزبان هر سند نیز مشخص می‌شود.

اطلاعات پیدا شده توسط Metagoofil می‌تواند برای هکرهایی که از آن جهت اجرای حملاتی همچون جستجوی فراگیر کلمه عبور یا حتی فیشینگ استفاده می‌کنند، مفید باشد. سازمان‌هایی که قصد حفاظت از خودشان را دارند می‌توانند این اطلاعات را پنهان نموده یا از آنها محافظت کنند تا هکرها امکان سوءاستفاده از آنها را نداشته باشند.

searchcode

برای اشخاصی که می‌خواهند در ماتریس پیچیده جمع‌آوری اطلاعات توسط ابزارهای OSINT به جستجو و اکتشاف بپردازند، searchcode یک موتور جستجوی بسیار تخصصی است که سعی می‌کند اطلاعات مفیدی را از کدهای منبع استخراج کند. در کمال تعجب باید گفت که این موتور جستجوی قدرتمند، تنها توسط یک توسعه دهنده نوشته شده است!

اگرچه searchcode از ادغام یک ابزار OSINT و ابزاری که برای یافتن و دستیابی به مواردی به جز اطلاعات عمومی طراحی شده ولی چون توسعه‌دهندگان می‌توانند از آن برای یافتن مشکلات احتمالی مربوط به قابلیت شناسایی اطلاعات حتی از داخل کد برنامه‌های در حال اجرا یا برنامه‌هایی که هنوز در مرحله توسعه قرار دارند، استفاده کنند؛ همچنان به عنوان یک ابزار OSINT در نظر گرفته می‌شود. کاربران همچنین می‌توانند از این ابزار، پیش از نصب محصول در محیط های عملیاتی نیز استفاده کنند.

اگرچه هر چیزی که با کد و کدنویسی در ارتباط است نسبت به روشی مثل جستجوی گوگل نیاز به دانش تخصصی بیشتری دارد اما رابط کاربری searchcode به گونه‌ای طراحی شده که استفاده از آن تا جای ممکن راحت باشد. کابران می‌توانند عبارت دلخواه‌شان را در کادر جستجو تایپ کرده تا searchcode نتایج مرتبط را در اختیار آنها قرار دهد. از جمله جستجوهای توصیه شده می‌توان به جستجوی نام‌های کاربری، نقص‌های امنیتی مثل فراخوان‌های eval $_GET، توابع فعال ناخواسته مانند re.compile و کاراکترهای ویژه‌ای اشاره کرد که امکان استفاده از آنها برای اجرای حملات تزریق کد وجود دارد.

نتایج ارایه شده توسط searchcode معمولاً واضح هستند با این حال، امکان کلیک بر روی این نتایج برای پیدا کردن اطلاعات بیشتر یا شناسایی مشکلات وجود دارد.

Babel X

اطلاعات مفید همیشه هم به زبان انگلیسی نیستند. بر اساس آمار ارایه شده توسط وب سایت Statista، زبان رسمی فقط حدود یک چهارم از کاربران اینترنت، زبان انگلیسی است هر چند بعضی از منابع اعلام کرده‌اند که حدود 55 درصد از محتواهای موجود در وب‌سایت‌ها به زبان انگلیسی می‌باشد. شاید اطلاعاتی که به دنبال آن هستید به زبان چینی، اسپانیایی یا حتی تامیلی منتشر شده باشد.

Babel X از Babel Street استفاده می نماید که یک ابزار جستجوی چندزبانه برای جستجو در اینترنت از جمله وبلاگ‌ها، شبکه‌های اجتماعی، تالارهای گفتگو و وب‌سایت‌های خبری است. این ابزار به جستجوی وب تاریک از جمله ‌وب‌سایت‌های پیازی هم پرداخته و از طریق یکسری توافقنامه و مجوز، به بعضی از محتواهای وب تاریک هم دسترسی دارد. این ابزار قادر است محل جغرافیایی منبع اطلاعاتی پیدا شده را مشخص نموده و برای شناسایی نتایج مرتبط، فرایند تحلیل متن را انجام دهد. Babel X در حال حاضر می‌تواند عملیات جستجو را به بیش از 200 زبان زنده دنیا انجام دهد.

یکی از کاربردهایی که جستجوی چندزبانه برای آن مفید است، جستجو در اخبار جهانی برای دستیابی به آگاهی وضعیتی (مثلاً قرار گرفتن در جریان گرایش‌های روز حملات باج‌افزاری) است. همچنین می‌توان از این ابزار برای دسترسی به محتوای تحت مالکیت سازمان‌ها که برای فروش در وب‌سایت‌های خارجی قرار گرفته‌اند یا اطلاعاتی که نشان می‌دهند یک شرکت همکار مهم مورد نفوذ قرار گرفته است، استفاده کرد. کاربران از Babel X برای پیدا کردن شناسه کاربری مهاجمان در انجمن‌های غیرانگلیسی زبان هم می توانند استفاده کنند.

محصول اصلی Babel X تحت ابر بوده و به مشتریان امکان می‌دهد با اضافه نمودن منابع داده برای جستجو، آن را سفارشی‌سازی کنند. نسخه درون سازمانی این ابزار هم Babel Box است که فاقد بعضی از امکانات Babel X از جمله دسترسی به منابع داده وب عمیق می باشد. ارزان‌ترین گزینه موجود هم Babel Channels است که مجهز به مجموعه کاملی از منابع داده ای برگزیده می باشد. البته برای تمام این محصولات، یک برنامه کاربردی تلفن همراه نیز وجود دارد.

چارچوب OSINT

گرچه این ابزارها انبوهی از داده‌های OSINT را در اختیار شما قرار می‌دهند اما ابزارها و فنون مختلف دیگری هم هستند که به شما برای مشخص کردن کامل ردپای عمومی سازمان‌تان کمک می‌کنند. یکی از منابع بسیار مفید برای پیدا کردن ابزارهای بیشتر، چارچوب OSINT است که یک رابط کاربری تحت وب بوده و حوزه‌های مختلف را به صورت طبقه بندی شده در اختیار محققان OSINT قرار می دهد. این چارچوب همچنین ابزارهایی را در اختیار شما قرار می‌دهد که می‌توانند هر آنچه نیاز دارید، جستجو نمایند.

ابزارهایی که چارچوب OSINT، شما را به سمت آنها هدایت می‌کند همگی رایگان هستند هر چند بعضی از آنها نیاز به ثبت نام داشته یا یک نسخه غیررایگان با امکانات کامل دارند. بعضی از این ابزارها صرفاً به اجرای جستجوهای پیشرفته گوگل کمک می‌کنند که می‌توانند اطلاعات زیادی را افشا نمایند. چارچوب OSINT توسط Justin Nordine اداره می‌شود که یک صفحه اختصاصی در گیت‌هاب دارد.

آیا OSINT غیرقانونی است؟

با وجود آنکه بسیاری از هکرها از فنون OSINT برای اجرای مرحله بررسی و شناسایی، پیش از شروع حمله استفاده می‌کنند ولی در بیشتر مواقع ابزارها و روش‌های مورد استفاده کاملاً قانونی هستند چون برای کمک به سازمان‌ها جهت استخراج اطلاعاتی که درباره آنها منتشر شده طراحی شده‌اند. حتی از سازمان‌های دولتی هم خواسته می‌شود که از راهکارهای OSINT برای شناسایی حفره‌های موجود در امنیت سایبری‌شان استفاده کنند.

یافتن ردپای ایجاد شده توسط پرس‌وجوی OSINT ممکن است شما را به سمت بخش‌هایی هدایت کند که از لحاظ قانونی وضعیت نامشخصی دارند. به منظور امن ماندن در این زمینه توصیه‌های خاصی مطرح شده است. برای مثال دسترسی به بخش‌های باز و عمومی وب تاریک، غیرقانونی نبوده و انجام این کار برای شناسایی سرقت اطلاعات یا افشای داده‌های سازمانی مهم است. با این حال نباید سعی کنید در تحقیقات‌تان داده‌های سرقت شده را بخرید یا برای گرفتن اطلاعات از شخصیت‌های مشکوک، خودتان را به جای یک مقام قانونی جا بزنید.

در مجموع باید قبل از انجام این کار، یک راهنما و کد اخلاقی تهیه نموده و هر آنچه که انجام می‌دهید را مستند‌سازی کنید. شما با این روش نشان می‌دهید به این دستورالعمل‌ها پایبند بوده و قصد نقص هیچ قانونی را ندارید.

بستن حفره‌های اطلاعاتی متن‌باز

هر هک یا نفوذی مشتمل بر تهدیدات پیشرفته مستمر (APT) یا نفوذهای پیچیده و عمیق نیست. هکرها همیشه سعی می‌کنند از روش‌های آسان برای دسترسی به اهداف‌شان استفاده کنند. اگر اطلاعاتی در اینترنت وجود داشته و دسترسی به آن برای همگان آزاد باشد هکرها هم نیازی نخواهند داشت که ماه‌ها تلاش کرده تا به سیستم‌های امنیتی نفوذ کنند. آنها می‌توانند از اطلاعات حساس جمع‌آوری شده به عنوان میان‌بری برای دسترسی به اعتبارنامه‌های معتبر یا برنامه‌ریزی نفوذ، آن هم با ایجاد کمترین سطح مخاطره یا تلاش استفاده کنند.

ابزارهای OSINT می‌توانند به سازمان‌ها برای اکتشاف اطلاعاتی که درباره آنها، شبکه‌ها، داده‌ها و کاربران‌شان در اینترنت وجود دارد کمک کنند. پیدا کردن این اطلاعات در زمان کوتاه اهمیت زیادی دارد چون پیش از اینکه توسط مهاجمان مورد سوءاستفاده قرار بگیرند امکان حذف آنها را فراهم می‌کنند.

[1] Open Source Inteligence

[2] Open Source

منبع: csoonline