جستجوي پيشرفته | کتابخانه مجازی الفبا

در پردازش زبان طبیعی سعی بر این است که کامپیوتر توانایی استخراج معنی از منابع زبان طبیعی را داشته باشد. به دلیل پیچیدگی پردازش زبان طبیعی و برای سادگی برخورد با چالش‌های پیشِ روی آن از ابزارهای مختلف و تخصصی برای مواجهه با هر یک از مشکلات استفاده شود. برچسب‌گذار نحوی اجزای کلام یکی از ابزارهایی است که می‌تواند به فرایند پردازش زبان طبیعی کمک کند. وظیفه برچسب‌گذار مشخص کردن نقش دستوری کلمات در جملاتی است که به‌عنوان ورودی به کامپیوتر داده می‌شود. این ابزار پایه‌ای می‌تواند در مترجم‌های ماشینی، غلط‌یاب‌ها، خلاصه‌سازهای متون و سایر موارد استفاده شود.در این پایان‌نامه ابتدا به معرفی روش‌های تعیین نقش دستوری برای زبان فارسی می‌پردازیم. برچسب‌گذاری به‌صورت عمده به دو گونه مبتنی بر قانون و آماری تقسیم می‌شود. در این پایان‌نامه به بررسی روش‌های تعیین نقش دستوری در زبان فارسی می‌پردازیم. با توجه به مشکلات برچسب‌گذاری مبتنی بر قانون عمده پیاده‌سازی‌های انجام‌شده در زبان فارسی، با استفاده از روش‌های آماری بوده‌اند. روش‌های آماری مدل مارکوف، مبتنی بر حافظه و تخمین احتمال بیشینه پرکاربردترین روش‌های آماری برای زبان فارسی هستند که سعی شده با انعکاس نتایج، مقایسه‌ای را بین آن‌ها انجام دهیم. در پایان نتایج بررسی‌ها نشان می‌دهد الگوریتم مدل مارکوف بیشترین اقبال را چه ازنظر تعداد استفاده چه ازنظر درصد موفقیت برای زبان فارسی دارا است. نکته قابل‌توجه در کارهای پیشین تمرکز بیشتر آن‌ها بر روی تعیین نقش دستوری کلمات ناشناخته است. برای این کار روش‌های پیش‌پردازش متن، تحلیل‌گر ساخت‌واژی و حدس برچسب کلمات ناشناخته مورد استفاده قرار گرفته بود. دراین‌بین کمتر اثری را می‌توان یافت که ضمن ارائه الگوریتمی جدید به موفقیت قابل‌توجه دست پیداکرده باشد.ما برای ارائه الگوریتم جدید، مدل مخفی مارکوف را با توجه به بررسی کارهای گذشته به‌عنوان مبنای کار خود قراردادیم. سپس با ارائه روش‌های مختلف تلاش کردیم درنتیجه به‌دست‌آمده توسط این روش بهبود حاصل کنیم. یکی از رو‌ش‌ها بررسی انتقال‌های پرتکرار و انتقال‌ها با درصد خطای بالا برای وضع قوانین بهبود دهنده برای آن‌ها است. تغییر نسبت وزنی فاکتورهای اصلی مدل مارکوف به دنبال یافتن نسبت بهینه بین این فاکتورها روش دیگر مورد استفاده بود، که نشان داد نسبت یک‌به‌یک بهترین انتخاب است. بررسی تأثیر نقش کلمات بعدی به‌جای کلمات قبلی، بر روی تعیین نقش دستوری کلمات انجام گرفت، چرا که تأثیر برچسب‌های قبل و بعد بر روی تعیین نقش دستوری کلمات برای هر زبان قابل توجه است. نتیجه به دست آمده 96.89 درصد است. برچسب‌گذاری دو مرحله‌ای با استفاده از دسته‌بندی اولیه برچسب‌ها روشی است که می‌تواند کیفیت نتیجه را بهبود دهد هرچند نتیجه کمی آن از 95.91 درصد فراتر نرفت؛ اما نقطه قوت این پایان‌نامه اضافه کردن فاکتورهایی مانند P(t_(i-1) |t_i ) به مدل مارکوف و پیدا کردن نسبت بهینه بین آن‌ها با استفاده از روش‌های جستجوی مختلف ازجمله الگوریتم ژنتیک است. این روش توانست با موفقیت 97.06 درصدی نتیجه‌ای بهتر از روش‌های موجود ارائه دهد.

با توجه به گسترش روزافزون اطلاعات در دسترس از طریق اینترنت، لزوم استفاده از روش های خلاصه سازی خودکار متن، بیش از پیش احساس می شود. روش هایی که با استخراج مهمترین مطالب موجود در اسناد مانع از مطالعه کامل حجم انبوه از آنها شوند. خلاصه سازی عبارت است از فشرده سازی متن (متون) منبع و تولید یک نسخه کوتاه تر از آن به نحوی که محتوای اطلاعاتی آن حفظ شود. اغلب سیستم های خلاصه ساز با استفاده از روش های سطحی و معیارهای آماری به استخراج مهمترین بخش های متن منبع پرداخته و خلاصه نهایی را شکل می دهند. هدف این پژوهش استفاده از یک روش مبتنی بر پایگاه دانش در فرآیند خلاصه سازی است. در این راستا از پایگاه دانش هستی شناسی فارس نت به منظور دستیابی به مفاهیم موجود در متون و تولید خلاصه آنها استفاده خواهد شد. هستی شناسی یکی از مباحث مربوط به علم فلسفه است که یک ساختار سلسله مراتبی از همه موجودیت های عالم هستی به همراه روابط حاکم بر آنها فراهم می کند. در این پژوهش ابتدا با نگاشت متن مورد خلاصه سازی با پایگاه دانش هستی شناسی، گرافی تحت عنوان گراف موضوعی شکل می گیرد که حامل شمای مفهومی متن منبع است. سپس با استفاده از معیارهای مختلف تعیین اهمیت گرافی، اهمیت نسبی هر یک از گره های گراف ارزیابی می شود. سرانجام از این مقادیر به منظور تعیین اهمیت جملات مختلف موجود در متن منبع و ساخت خلاصه نهایی استفاده خواهد شد. نتایج حاصل از ارزیابی خلاصه های تولید شده، حاکی از برتری روش پیشنهاد شده در این پژوهش نسبت به سیستم های خلاصه ساز موجود است.

با افزایش استفاده از سرویس‌های وب در بسترهای توزیع شده نظیر اینترنت، بر اهمیت بهبود فرآیند کشف آن‌ها افزوده شده است و سرویس‌های وب معنایی و روش‌های همتایابی هیبریدی، سعی در بهبود هرچه بیشتر آن دارند. استفاده از تکنیک‌های حوزه‌هایی نظیر بازیابی اطلاعات، جزو روش‌های معمول مورد استفاده در همتایاب‌های هیبریدی محسوب می‌گردد که محاسبه شباهت میان توصیف سرویس‌های وب، مهم‌ترین بخش این روش‌ها است. کارایی همتایاب‌هایی که از معیارهای شباهت متنی برای این منظوراستفاده کرده‌اند، تا حدود زیادی بر انتخاب این معیارها بستگی دارد زیرا که هر معیار شباهت، در دسته‌ای از پرس‌وجوها، عملکرد بهتری از خود نشان می‌دهد. با توجه به اهمیت این موضوع، ایده اصلی ما، استفاده همزمان از چندین معیار شباهت در فرآیند کشف سرویس‌های وب می‌باشد که برای این منظور به ارائه روشی برای استفاده از معیارهای شباهت چندگانه جهت محاسبه میزان شباهت بین پارامترهای ورودی/خروجی سرویس‌های وب، پرداختیم. بدین ترتیب می‌توان بهبودهای حاصل از عملکرد هر یک از معیارهای شباهت مختلف را تجمیع نمود و به نتایج کلی بهتری به ازای تمام مجموعه پرس‌وجوها رسید. در این روش از میانگین‌گیری مرتب شده وزن‌دار یاگر برای تجمیع مقادیر شباهت حاصل از به‌کارگیری معیارهای شباهت مختلف، استفاده کرده‌ایم. همچنین با توجه به برخی از ویژگی-های سرویس‌های وب، به معرفی دو معیار شباهت نامتقارن پرداخته‌ایم که موجب حصول نتایج متفاوتی نسبت به معیارهای متقارن مشابه خود شده‌اند. همچنین روشی جدید برای تجمیع نهایی شباهت حاصل از پارامترهای ورودی و خروجی سرویس‌های وب ارائه نموده‌ایم. نتایج حاصل ازبه‌کارگیری روش پیشنهادی نشان دهنده عملکرد مطلوب آن در حالت کلی، در مقایسه با نتایج حاصل از به‌کارگیری مجزای معیارهای شباهت می‌باشد. همچنین این روش در مقایسه با دو همتایاب مطرح در این زمینه، عملکرد بهتری از خود نشان داده است.

در این پایاننامه روشی ترکیبی برای جستجوی معنایی ارائه می‌شود که در آن با استفاده از هستی‌شناسی فارس‌نت، روابط موجود در مستندات، کلمات مرتبط با پرس‌وجوی کاربر و فاصله‌های معنایی کلمات، پیدا شده و با استفاده از آن‌ها مستندات رتبه‌بندی می‌شوند. در این روش ابتدا با استفاده از هستی‌شناسی فارسنت مستندات زبان فارسی پردازش میشوند و شبکهای از معانی آن مستندات به اسم شبکههای معنایی مستندات ساخته میشوند. سپس در مرحله برخط پس از پردازش پرسوجوی کاربر، روابط موجود در این مستندات امتیازدهی میشوند و با استفاده از بردار وزندهی‌شده پرسوجوی کاربر و بردارهای مستندات به روش فضای برداری میزان مشابهت بین پرسوجو و مستندات محاسبه می‌شود. همین‏طور فاصله‌های معنایی بین پرس‌وجو و مهم‌ترین کلمات مستندات محاسبه شده و با استفاده از آن‌ها امتیاز مستندات به‌دست می‌آید. درنهایت با ترکیب این سه امتیاز رتبه نهایی مستندات محاسبه میشود.