همه چیز درباره پردازش زبان طبیعی در هوش مصنوعی

در این مطلب قصد داریم به همه چیز درباره پردازش زبان طبیعی در هوش مصنوعی بپردازیم، پردازش زبان طبیعی (Natural Language Processing یا به اختصار NLP) یک حوزه مهم از هوش مصنوعی است که به تحلیل، تفسیر و تفهیم زبان انسانی توسط ماشین ها می پردازد. این فناوری امکانات بسیاری را برای ماشین ها فراهم می کند از جمله ترجمه متون، تولید متن، تشخیص گفتار، تحلیل احساسات و نظرات، خلاصه سازی متن، پرسش و پاسخ خودکار، استخراج اطلاعات، و بوسیله ی این فناوری می توان ارتباط بین انسان و ماشین را بهبود بخشید.

برای انجام پردازش زبان طبیعی، از الگوریتم ها و مدل های مختلفی استفاده می شود که به ماشین امکان می دهد که زبان انسانی را تفسیر کرده و برای ارتباط با انسان ها استفاده کند. از جمله تکنولوژی های اصلی پردازش زبان طبیعی می توان به شبکه های عصبی، مدل های مبتنی بر آمار و قوانین گرامری، الگوریتم های یادگیری ماشین، و تحلیل متن اشاره کرد.

استفاده از پردازش زبان طبیعی در بسیاری از حوزه ها اهمیت زیادی دارد، از جمله در حوزه های ارتباطات، تجارت الکترونیک، بهداشت، آموزش و بسیاری حوزه های دیگر. به دلیل پیچیدگی زبان انسانی، پردازش زبان طبیعی همچنان یکی از چالش های اصلی در حوزه هوش مصنوعی است و محققان در حال توسعه روش ها و تکنیک های جدید برای بهبود عملکرد این فناوری هستند.

بوت کمپ پردازش زبان طبیعی

در ادامه به همه چیز درباره پردازش زبان طبیعی در هوش مصنوعی می پردازیم، با ما همراه شوید و از مطالب مفید ما استفاده کنید.

هوش مصنوعی چیست؟ همه چیز درباره پردازش زبان طبیعی در هوش مصنوعی

هوش مصنوعی (AI)، استفاده از رایانه برای انجام كارهایی است كه به طور سنتی به هوش انسانی نیاز دارد. هوش مصنوعی می تواند حجم زیادی از داده ها را به روشی پردازش کند كه انسان نمی تواند. هدف هوش مصنوعی این است كه بتواند كارهایی مثل تشخیص الگوها، تصمیم گیری و قضاوت را مثل انسان ها انجام دهد.

برای انجام این كار، ما به داده های زیادی نیاز داریم كه به ماشین ها به عنوان ورودی داده شود. هوش مصنوعی اساس بعضی از فناوری های مهم حال حاضر، مثل تشخیص و طبقه بندی تصاویر می باشد. هوش مصنوعی زیرشاخه های زیادی را دربرمی گیرد، به طور مثال پردازش زبان طبیعی، بینایی ماشین (Computer Vision)، بازی های ویدیویی، رباتيک (Robotics) و غیره.

هوش مصنوعی به زبان ساده

مردم واقعاً در مورد هوش مصنوعی چه فکر می کنند؟ وقتی از مردم در مورد هوش مصنوعی سوال می شود، معمولاً به فیلم های پرفروش هالیوود مثل ترمیناتور (The Terminator) فکر می کنند. تعجب آور نیست وقتی با کسی صحبت می کنید كه قبلاً هیچ چیزی در مورد هوش مصنوعی (AI) نشنیده و ندیده است، اغلب تصاویری شبیه به آن چه در فیلم هایی مثل The Terminator یافت می شود را تداعی می کند. به هر حال چیزی كه از هوش مصنوعی دیده یا شنیده اند، معمولا همانی است كه در این نوع فیلم ها نمایش داده می شود.

پردازش زبان طبیعی یا Natural Language Processing  درواقع زیرشاخه ای از حوزه گسترده هوش مصنوعی به شمار می آید. پس شاید بهتر باشد. قبل از ورود به بحث پردازش زبان طبیعی، کمی درمورد هوش مصنوعی صحبت کنیم و ببینیم دقیقا به چه معناست. هوش مصنوعی (AI) موضوعی است كه دهه ها در فلسفه و داستان های علمی تخیلی مورد بحث قرار گرفته است، اما به سرعت در حال تبدیل شدن به واقعیت می باشد.

در سال ۲۰۱۷، هوش مصنوعی به يک نام آشنا تبدیل شد. با سرمایه گذاری میلیاردها دلاری شرکت هایی مثل گوگل برای توسعه هر چه بیشتر برنامه های كاربردی هوش مصنوعی، همه روزه در این زمینه اخبار منتشر می شد. هوش مصنوعی موضوعات واقعاً جذابی را پوشش می دهد، از نحوه طراحی ماشین های هوشمند گرفته تا اینکه وقتی این ماشین ها بیشتر از انسان ها در همه جا حضور دارند، آینده ما چگونه خواهد بود. اما این هوش  مصنوعی دقیقا چیست؟ و چرا همه تا این حد در مورد آن هیجان زده می باشند؟

هوش مصنوعی علم ساخت ماشین هایی است كه قادر هستند مثل انسان فکر کنند و می تواند كارهایی را انجام دهد كه «هوشمند» در نظر گرفته می شوند. يک مثال ساده زمانی است كه سیری (Siri) به شما می گوید امروز چه زمانی در شهر شما باران می بارد یا چه رستوران یا كافه ای در نزدیکی شما وجود دارد. یا وقتی گوگل ترنسلیت (Google Translate) متنی را كه در اختیارش قرار داده اید، به هر زبانی كه بخواهید ترجمه می کند.

آن ها فکر می کنند ما در نقطه ای هستیم كه هوش مصنوعی می تواند هر كاری را برای ما انجام دهد، مثلا انجام كارهایی كه در محل كار داریم یا تصمیم گیری در مورد همه چیز بدون مشورت با انسان و چیزهایی شبیه به این ها. اما آیا هوش مصنوعی واقعا همان است كه در ذهن عموم مردم جا افتاده است؟

پردازش زبان طبیعی (Natural Language Processing) چیست؟

پردازش زبان طبیعی (Natural Language Processing) به شاخه ای از علوم رایانه (Computer Science)  و به طور خاص، شاخه ای از هوش مصنوعی (AI) مربوط می شود. این شاخه به كامپیوترها این امكان را می دهد تا متن و کلمه های گفتاری را به همان شیوه ای درک کنند كه انسان می تواند بفهمد.

پردازش زبان طبیعی زبان شناسی محاسباتی (Computational Linguistics) را با مدل های (Statistical Models)، یادگیری ماشین (Machine Learning) و یادگیری عمیق (Deep Leaning) ترکیب می کند كه همان زیرشاخه یادگیری ماشین می باشد. در کنار هم این فناوری ها كامپیوترها را قادر می کنند تا زبان انسان را در قالب متن یا داده های صوتی پردازش و معنای كامل آن را درک کنند.

تاریخچه پردازش زبان طبیعی

حوزه پردازش زبان طبیعی در دهه ۱۹۴۰ و پس از جنگ جهانی دوم آغاز شد. در آن زمان، مردم اهمیت ترجمه از يک زبان به زبان دیگر را درک کردند و امیدوار بودند كه ماشینی ایجاد کنند كه بتواند این نوع ترجمه را به صورت خودكار انجام دهد. با این حال، واضح است كه این كار آن طور كه مردم در ابتدا تصور می کردند آسان نبود.

در سال ۱۹۵۸، بعضی از محققان مسائل مهمی را در توسعه NLP شناسایی کردند. یکی از این محققین نوام چامسکی (Noam Chomsky) بود كه یکی از مشکلاتی كه توجهش را جلب کرد این بود كه مدل های زبانی جملاتی را كه بی معنی می باشند اما از نظر دستوری درست می باشند را با جملاتی كه بی معنی می باشند و از نظر گرامری صحیح نیستند، یکسان در نظر می گیرند.

تقریباً در همان زمان در تاریخ، از سال ۱۹۵۷ تا ۱۹۷۰، محققان در مورد پردازش زبان طبیعی به دو بخش تقسیم شدند: نمادین (symbolic) و تصادفی (stochastic). محققان نمادین یا مبتنی بر قانون، بر زبان های رسمی و تولید نحو تمرکز کردند. این گروه متشکل از بسیاری از زبان شناسان و دانشمندان كامپیوتر بود كه این شاخه را سرآغاز تحقیقات هوش مصنوعی می دانستند. محققان تصادفی بیشتر به روش های آماری و احتمالی NLP علاقه مند بودند و بر روی مسائل مربوط به تشخیص كاراکترهای نوری و تشخیص الگوی بین متون كار می کردند.

پس از سال ۱۹۷۰، محققان حتی بیشتر از این هم تقسیم شدند و با در دسترس قرار گرفتن فناوری و دانش بیشتر، حوزه های جدیدی از NLP معرفی شد. یکی از این حوزه های جدید، پارادایم های مبتنی بر منطق (logic-based paradigms) بود، زبان هایی كه بر کدگذاری قواعد و زبان در منطق های ریاضی تمرکز داشتند.

این حوزه از تحقیقات پردازش زبان طبیعی بعدها به توسعه زبان برنامه نویسی Prolog کمک کرد. درک زبان طبیعی (Natural Language Understanding) یکی دیگر از حوزه های NLP بود كه به ویژه تحت تأثیر SHRDLU، پایان نامه دکتری پروفسور تری وینوگراد (Professor Terry Winograd’s doctoral thesis) قرار گرفت.

این برنامه يک كامپیوتر را در دنیایی از بلوک ها قرار می داد و آن را قادر می ساخت تا بر اساس دستورالعمل های زبان طبیعی كاربر، سؤالات مربوط به بلوک ها را دستكاری کرده و به آن ها پاسخ دهد. بخش شگفت انگیز این سیستم توانایی آن برای یادگیری و درک، با دقت شگفت انگیز بود، چیزی كه در حال حاضر فقط در حوزه های بسیار محدودی امكان پذیر می باشد.

در این حالت كامپیوتر به وضوح قادر بود روابط بین اشیاء را حل کند و ابهامات خاصی را درک کند. چهارمین حوزه NLP كه پس از سال ۱۹۷۰ به وجود آمد، كه مدل سازی گفتمان  (discourse modeling)نام داشت. این حوزه، تبادلات بین افراد و رایانه ها را بررسی می کرد و ایده هایی مثل نیاز به تغییر «تو» در سؤال گوینده به «من» در پاسخ رایانه را بررسی می کرد.

از سال ۱۹۸۳ تا ۱۹۹۳، محققان در تمرکز بر تجربه گرایی و مدل های احتمالی متحدتر شدند. محققان توانستند بعضی استدلال های چامسکی و دیگران را در دهه های ۱۹۵۰ و ۶۰ آزمایش کنند و کشف کردند كه بسیاری از استدلال هایی كه در متن قانع کننده بودند، از نظر تجربی دقیق نیستند. پس، تا سال ۱۹۹۳، روش های احتمالی و آماری پردازش زبان طبیعی رایج ترین انواع مدل ها بودند.

در دهه گذشته، NLP به خاطر حجم وسیعی از اطلاعات پراکنده در اینترنت، بیشتر بر استخراج و تولید اطلاعات متمرکز شده. علاوه بر این، رایانه های شخصی اکنون در همه جا وجود دارند، و پس كاربردهای پردازش زبان طبیعی در سطح مصرف کننده بسیار رایج تر و انگیزه ای برای تحقیقات بیشتر می باشند.

چرا پردازش زبان طبیعی اهمیت دارد؟

یکی از دلایل اهمیت پردازش زبان طبیعی برای مشاغل این است كه می توان از آن برای تجزیه وتحلیل حجم زیادی از داده های متنی، مثل نظرات كاربران رسانه های اجتماعی، نقدهای آنلاین، گزارش های خبری و غیره، استفاده کرد.

همه این داده های تجاری حاوی تعداد زیادی اطلاعات ارزشمند می باشند و پردازش زبان طبیعی (Natural Language Processing) می تواند به مشاغل کمک کند به سرعت به این اطلاعات دست یابند.

پردازش زبان طبیعی با کمک به ماشین ها امكان درک زبان انسان به شیوه ای سریع تر، دقیق تر و سازگارتر از انسان را فراهم می کند. ابزارهای پردازش زبان طبیعی داده ها را به صورت بلادرنگ (Real-time)، 24ساعته و برای هفت روز هفته پردازش می کنند و معیارهای یکسانی را برای همه داده ها اعمال می کنند؛ پس می توان به دقت نتایج خروجی اعتماد کرد.

کلاس های آموزشی زبان طبیعی در هوش مصنوعی

كاربردهای پردازش زبان طبیعی در حوزه متن

پردازش زبان طبیعی به برنامه های كامپیوتری کمک می کند تا متن را از يک زبان به زبان دیگر ترجمه کنند، به مكالمات متنی پاسخ  دهند و حجم زیادی از متن را به سرعت خلاصه  کنند (حتی به صورت درلحظه یا real time). دستیارهای دیجیتال، نرم افزار تصحیح، چت ربات های خدمات مشتری و سایر امكانات رفاهی مبتنی بر متن همگی از NLP بهره مند می شوند. در این بخش به توضیح فواید به كارگیری پردازش زبان طبیعی در حوزه متن می پردازیم.

ترجمه ماشینی

گوگل ترنسلیت (Google Translate) نمونه ای از كاربرد مستقیم پردازش زبان طبیعی است كه به طور گسترده در دسترس همه قرار دارد. ترجمه ماشینی چیزی بیشتر از جایگزینی کلمات يک زبان با کلمات زبانی دیگر می باشد. يک ترجمه مناسب باید معنی و لحن زبان ورودی را به دقت دریافت کرده و آن را به متنی با همان معنا و تاثیر دلخواه در زبان دوم ترجمه کند. ابزارهای ترجمه ماشینی از نظر دقت پیشرفت خوبی دارند. يک راه عالی برای آزمایش هر ابزار ترجمه ماشینی، ترجمه متن به يک زبان و سپس ترجمه مجدد خروجی به زبان اصلی می باشد.

تشخیص هرزنامه

در نگاه اول امكان دارد تشخیص اسپم یا هرزنامه را به عنوان یکی از كاربردهای پردازش زبان طبیعی در نظر نگیرید، اما بهترین فناوری های حال حاضر (برای مثال گوگل در بخش جیمیل) برای تشخیص هرزنامه از قابلیت های طبقه بندی متن با کمک پردازش زبان طبیعی بهره مند می شوند. بعضی از شاخص های طبقه بندی متن عبارت هستند از استفاده بیش از حد از بعضی از اصطلاحات تبلیغاتی، گرامر بد، زبان تهدیدآمیز، موضوع نامناسب، نام شرکت ها با املای اشتباه و….

تجزیه و تحلیل احساسات

در سالهای اخیر NLP به يک ابزار تجاری ضروری برای کشف تاثیر داده های پنهان به خصوص در رسانه های اجتماعی تبدیل شده. با کمک تحلیل احساسات می توان نوشته های موجود در رسانه های اجتماعی، پاسخ ها و…. را برای استخراج نگرش ها و احساسات در پاسخ به محصولات، تبلیغات و رویدادها تجزیه و تحلیل کرد. همینطور شرکت ها قادر هستند از این اطلاعات در طراحی محصول، کمپین های تبلیغاتی و موارد دیگر استفاده کنند.

خلاصه سازی متن

خلاصه سازی متن از تکنيک های پردازش زبان طبیعی برای هضم حجم عظیمی از متن دیجیتالی و ایجاد خلاصه هایی برای نمایه ها، پایگاه های اطلاعاتی تحقیقاتی یا خوانندگان پرمشغله ای كه وقت خواندن متن كامل را ندارند، استفاده می کند. بهترین برنامه های خلاصه سازی متن از استدلال معنایی و تولید زبان طبیعی (NLG) برای تولید متن با توجه به زمینه متن (اینکه متن ورزشی است یا خبری و…) و نتیجه گیری و جمع بندی بهره مند می شوند.

ابهام  زدایی

فرآیند ابهام زدایی عبارت است از انتخاب معنای يک کلمه از میان معانی چندگانه از طریق يک رویکرد تحلیل معنایی. بر این اساس کلمه ای انتخاب می شود كه معنایش بیشترین انطباق را براساس متن داده شده دارد. برای مثال، ابهام  زدایی از معنای کلمات موجود در متن استفاده می کند تا معنای کلمه “شیر” در متن را تشخیص دهد.

چت بات های گفتگو

دستیارهای مجازی مثل سیری در سیستم عامل اپل و الکسا در آمازون از تشخیص گفتار برای تشخیص الگوهای دستورات صوتی و تولید زبان طبیعی بهره مند می شوند تا با اقدامات مناسب یا نظرات مفید پاسخ دهند. چت بات ها همان رویکرد را در پاسخ به نوشته های متنی تایپ شده در پیش می گیرند. بهترین چت باتها یاد می گیرند تا سرنخ های متنی را در درخواست های انسانها تشخیص دهند و از آن ها برای ارائه پاسخها یا گزینه های بهتر در طول زمان استفاده کنند. گام بعدی برای این برنام ها پاسخگویی به سؤالات است كه شامل توانایی پاسخگویی به هر نوع سوالی – پیش بینی شده یا نشده – با پاسخ های مرتبط و مفید می باشد.

پردازش زبان طبیعی در پزشکی

پردازش زبان طبیعی تشخیص و پیش بینی بیماری ها را بر اساس پرونده الکترونیکی سلامت و گفتار خود بیمار امكان پذیر می کند. این قابلیت در شرایط سلامتی مختلفی بررسی می شود؛ از بیماری های قلبی عروقی گرفته تا افسردگی و حتی اسکیزوفرنی. به عنوان مثال، Comprehend Medical یکی از سرویسهای آمازون است كه از پردازش زبان طبیعی برای استخراج شرایط بیماری، داروها و نتایج درمان از یادداشت های بیمار، گزارش های كارآزمایی بالینی و سایر سوابق سلامت الکترونیکی استفاده می کند.

پردازش زبان طبیعی در سیستم های توصیه گر

دست اندركاران در IBM يک دستیار شناختی ایجاد کردند كه با یادگیری همه چیز در مورد شما مثل يک موتور جستجوی شخصی عمل کرده و نام، آهنگ یا هر چیزی را كه در لحظه ای كه به آن نیاز دارید به یاد نمی آورید را به شما یادآوری می کند. یا شرکت هایی مثل یاهو و گوگل ایمیل های شما را با تجزیه و تحلیل متن با کمک پردازش زبان طبیعی فیلتر و طبقه بندی می کنند.

برای کمک به شناسایی اخبار جعلی، گروه پردازش زبان طبیعی در MIT سیستم جدیدی را برای تعیین درستی یا مغرضانه بودن يک منبع ایجاد کرد و تشخیص داد كه آیا می توان به يک منبع خبری اعتماد کرد یا خیر. الکسای آمازون و سیری اپل نمونه هایی از رابط های صوتی هوشمند می باشند كه از پردازش زبان طبیعی برای پاسخ به اعلان های صوتی بهره مند می شوند و هر كاری را انجام می دهند؛ مثل یافتن يک فروشگاه خاص، اطلاع از پیش بینی آب و هوا، پیشنهاد بهترین مسیر به دفتر یا روشن کردن چراغ های خانه.

شناسایی موجودیت

شناسایی موجودیت نامگذاری شده  یا NEM، کلمات یا عبارات را به عنوان موجودیت های مفید شناسایی می کند. NEM “شیراز” را به عنوان يک مكان یا “بابک” را به عنوان نام يک مرد شناسایی می کند. هرساله الگوریتم های مفیدی در این زمینه توسعه داده می شوند.

كاربردهای NLPدر سایر حوزه ها

به زبان ساده، يک ماشین با کمک پردازش زبان طبیعی می تواند زبان طبیعی انسان را از روی متن به طور كامل تشخیص داده و آن را درک کند. هرچند اینکه يک ماشین چطور می تواند این مسائل را تشخیص دهد به خودی خود جذاب است، اما نتایج پردازش زبان طبیعی دارای كاربردهای زیادی در زندگی روزمره می باشد. برای مثال از NLP همینطور در هر دو مرحله جستجو و انتخاب جذب استعداد، شناسایی مهارت های استخدام های بالقوه و همینطور شناسایی افراد ماهر قبل از ورود به بازار كار استفاده می شود. در ادامه به چند نمونه دیگر اشاره می کنیم.

کلاس های پردازش زبان طبیعی

مفاهیم مقدماتی پردازش زبان طبیعی

چالش برانگیزترین موردی كه در پردازش زبان طبیعی وجود دارد این است كه زبان طبیعی و رایج میان انسانها بسیار پیچیده می باشد. فرآیند درک و دستكاری يک زبان بسیار پیچیده و به همین دلیل از تکنيک های مختلفی استفاده می شود. زبان های برنامه نویسی مثل پایتون (Python) یا R برای اجرای این تکنيک ها بسیار مورد استفاده قرار می گیرند، اما قبل از آشنایی با چگونگی کدنویسی با این زبانها، درک مفاهیم مقدماتی هم بسیار مهم می باشد. به همین دلیل به شرح بعضی از الگوریتم های پركاربرد در پردازش زبان طبیعی می پردازیم.

توکن سازی

توکن سازی (Tokenizer) شامل فرآیند تقسیم متن به جملات و کلمات می باشد. در اصل، وظیفه این بخش، برش يک متن به قطعاتی به نام نشانه و در عین حال دور انداختن كاراکترهای خاص مثل علائم نگارشی می باشد. با این که امكان دارد در زبان هایی مثل انگلیسی این فرآیند ابتدایی به نظر برسد، اما باید بدانید كه همه زبان ها یکسان رفتار نمی کنند و حتی در خود زبان انگلیسی هم فضاهای خالی به تنهایی كافی نیستند.

کیسه کلمات

کیسه کلمات (Bag of Words) يک مدل متداول است كه به شما اجازه می دهد تا تمام کلمات موجود در يک متن را بشمارید. این روش يک ماتریس رخداد هر کلمه را (بدون توجه به دستور زبان و ترتیب کلمات) برای جمله یا سند ایجاد می کند. از این فركانس ها یا رخدادها به عنوان ویژگی هایی برای آموزش يک مدل طبقه بندی کننده متن استفاده می شود. این رویکرد امكان دارد موجب ایجاد چندین جنبه منفی مثل از دست رفتن معنای کلمات و زمینه معنایی باشد یا اینکه به بعضی از کلمات متداول (مانند the) به اشتباه امتیاز بالایی دهد.

روش TFIDF

برای حل مشکل کیسه کلمات، يک رویکرد این است كه بسامد کلمات را بر اساس تعداد دفعات ظاهر شدن آن ها در همه متون (نه فقط متنی كه در حال تجزیه و تحلیل ما هستیم) مجددا مقیاس بندی کنیم تا امتیازات کلمات متداول مثل “the” كه در سایر متون هم متداول است، به درستی محاسبه شود.

این رویکرد امتیازدهی TFIDF نامیده می شود و مجموعه کلمات را بر اساس وزن می سنجد. از طریق TFIDF اصطلاحات مکرر در متن “پاداش” دریافت می کنند اما اگر این عبارات در متون دیگری كه ما هم در الگوریتم گنجانده ایم، تکرار شده باشند، “مجازات” می شوند. برعکس، این روش با در نظر گرفتن همه متون آزمایشی، اصطلاحات منحصر به فرد یا کمیاب را برجسته می کند و «پاداش» می دهد. هرچند بهتر است بدانید كه این رویکرد هنوز هیچ زمینه و معنایی ندارد.

ریشه یابی

ریشه یابی یا Stemming به فرآیند برش دادن انتهای یا ابتدای کلمات به قصد حذف پیشوندها، میانوندها و پسوندها برای دستیابی به ریشه يک کلمه اشاره دارد. از ریشه یابی می توان برای تصحیح غلط های املایی استفاده کرد. Stemmer ها برای استفاده ساده تر و سبکتر می باشند، بسیار سریع اجرا می شوند و اگر سرعت و عملکرد در مدل پردازش زبان طبیعی مهم است، می توان از آن با هدف بهبود عملکرد استفاده کرد.

مدل سازی موضوع

مدل سازی موضوع برای طبقه بندی متون، ایجاد سیستم های توصیه گر (مثلاً برای توصیه کتاب ها بر اساس مطالعه های گذشته تان) یا حتی تشخیص گرایش ها در انتشارات آنلاین بسیار مفید می باشد. مدل سازی موضوع روشی برای کشف ساختارهای پنهان در مجموعه ای از متون یا اسناد می باشد.

این روش در اصل متون را خوشه بندی می کند تا موضوعات پنهان را بر اساس محتوای آن ها کشف کند، تک تک کلمات را پردازش کند و بر اساس توزیع به آن ها مقادیر را اختصاص دهد. این تکنيک بر این فرض استوار است كه هر سند از ترکیبی از موضوعات تشکیل شده و هر موضوع از مجموعه ای از کلمات تشکیل شده است، به این معنی كه اگر بتوان این موضوعات پنهان را شناسایی کرد، می توان به معنای متن اصلی هم دست یافت.

Lemmatization

هدف این فرآیند تبدیل يک کلمه به شکل اصلی آن و گروه بندی اشكال مختلف يک کلمه می باشد. برای مثال، افعال در زمان گذشته به مصدر تبدیل می شوند (مثلا «رفت» به «رفتن» تغییر می کند) و مترادف ها یکسان می شوند (مثلا صفت بهترین و برترین یکی می شود)، از این رو ریشه کلماتی با معنای مشابه استاندارد می شوند. با این که به نظر می رسد كه این روش ارتباط نزدیکی با فرآیند ریشه  یابی دارد، اما Lemmatization از رویکرد متفاوتی برای رسیدن به اشكال ریشه ای کلمات استفاده می کند.

به عنوان مثال، کلمات ” run”، “runs” و “ran” همگی اشكال کلمه ” run” می باشند، پس ” run” لم تمام کلمات قبلی می باشد. Lemmatization همینطور برای حل مشکلات دیگری مثل ابهام زدایی، بافت کلمه را در نظر می گیرد، به این معنی كه می تواند بین کلمات یکسانی كه بسته به بافت خاص معانی متفاوتی دارند، تمایز قائل شود. به کلماتی مثل “شیر” (که می تواند مربوط به حیوان یا نوشیدنی یا لوله آب باشد) فکر کنید. با ارائه يک معیار (چه اسم، يک فعل و غیره) می توان نقشی برای آن کلمه در جمله تعریف کرد و ابهام زدایی را حذف کرد.

الگوریتم LDA

این الگوریتم نسبتا جدید (که کمتر از 20 سال پیش اختراع شده است) به عنوان يک روش یادگیری بدون نظارت عمل می کند كه موضوعات مختلف اسناد را کشف می کند. در روش های یادگیری بدون نظارت مثل این، هیچ متغیر خروجی برای هدایت فرآیند یادگیری وجود ندارد و داده ها توسط الگوریتم ها برای یافتن الگوها كاوش می شوند. برای دقیق تر بودن، LDA گروه هایی از کلمات مرتبط را بر اساس موارد زیر پیدا می کند:

• اختصاص دادن هر کلمه به يک موضوع تصادفی
• تعداد موضوعاتی كه كاربر می خواهد کشف کند

الگوریتم همه اسناد را به گونه ای به موضوعات مرتبط می کند كه کلمات در هر سند عمدتاً توسط آن موضوعات خیالی گرفته می شوند. الگوریتم هر کلمه را به صورت تکراری مرور می کند و با در نظر گرفتن احتمال تعلق کلمه به يک موضوع و احتمال ایجاد سند توسط يک موضوع، کلمه را دوباره به يک موضوع اختصاص می دهد.

این احتمالات چندین بار تا زمان همگرایی الگوریتم محاسبه می شوند. برخلاف سایر الگوریتم های خوشه بندی مثل K-means كه خوشه بندی قطعی را انجام می دهند (موضوعات از هم جدا می باشند)، LDA هر سند را به ترکیبی از موضوعات اختصاص می دهد، به این معنی كه هر سند را می توان با يک یا چند موضوع توصیف کرد و باعث می شود تا نتایج واقعی تری منعکس شود.

ابزارها و رویکردهای پردازش زبان طبیعی

پردازش زبان طبیعی آماری، یادگیری ماشین و یادگیری عمیق

اولین برنامه های پردازش طبیعی متن، سیستم های مبتنی بر قواعد و کدگذاری دستی بودند كه می توانستند وظایف NLP خاصی را انجام دهند، اما نمی توانستند به راحتی مقیاس پذیر شوند تا جریان به ظاهر بی پایانی از استثناها یا حجم فزاینده متن را در خود جای دهند. NLP آماری الگوریتم های كامپیوتری را با مدل های یادگیری ماشین و یادگیری عمیق ترکیب می کند تا به طور خودكار عناصر متن را استخراج، طبقه بندی و برچسب گذاری کند و سپس احتمال آماری را به هر معنای احتمالی آن عناصر اختصاص دهد.

امروزه، مدل های یادگیری عمیق و تکنيک های یادگیری مبتنی بر شبکه های عصبی كانولوشنال (CNN) و شبکه های عصبی مکرر (RNN) سیستم های پردازش زبان طبیعی را قادر می سازند كه در حین كار «یاد بگیرند» و معنای دقیق تری را از حجم عظیمی از متن خام، بدون ساختار و بدون برچسب استخراج کنند.

پایتون و  the Natural Language Toolkit (NLTK)

زبان برنامه نویسی پایتون طیف وسیعی از ابزارها و کتابخانه ها را برای به كارگیری در وظایف خاص پردازش زبان طبیعی فراهم می کند. بسیاری از این موارد در Natural Language Toolkit یا NLTK، مجموعه ای منبع باز از کتابخانه ها، برنامه ها و منابع آموزشی برای ساخت برنامه های NLP پیدا می شوند.

NLTK شامل کتابخانه هایی برای بسیاری از وظایف NLP ذکر شده در بخش های قبلی و همینطور کتابخانه هایی برای وظایف فرعی، مثل تجزیه جملات، تقسیم بندی کلمات، ریشه یابی و ریشه یابی و توکن سازی می باشد. پایتون همینطور شامل کتابخانه هایی برای پیاده سازی قابلیت هایی مثل استدلال معنایی، توانایی رسیدن به نتایج منطقی بر اساس حقایق استخراج شده از متن می باشد.

کتابخانه های Open Source فناوری پردازش زبان طبیعی

این کتابخانه ها، الگوریتم های ساخت بلاک پردازش زبان طبیعی را برای كاربردهای واقعی فراهم می کند.

Apache OpenNLP

يک ابزار یادگیری ماشینی است كه توکن سازی، تقسیم بندی جملات، نقش دستوری کلمات، متن كاوی، قطعه بندی، تجزیه، تفکيک پذیری نقش را ارائه می دهد.

NLTK

Natural Language Toolkit کتابخانه ای است كه ماژول های متعددی برای پردازش متن، دسته بندی، توکن سازی، ریشه یابی، برچسب زنی، تجزیه و كارهای دیگر در اختیار شما قرار می دهد.

MALLET

يک بسته جاوا است كه تخصیص پنهان دیریکله (Latent Dirichlet Allocation)، دسته بندی اسناد، خوشه بندی، مدل سازی موضوعی و استخراج اطلاعات را ارائه می‎ دهد.

به مثال های زیر كه نمونه هایی از نمونه هایی از پردازش زبان طبیعی است، توجه کنید.

• استفاده از خلاصه کننده ها (Summarizer) به منظور خلاصه کردن بلاک های متنی، جملات موضوعی بسیار دقیق و نادیده گرفتن بقیه متن.
• تولید برچسب های کلمات کلیدی با کمک LDA كه مرتبط ترین کلمه را از متن تعیین می کند. این الگوریتم قلب تپنده Auto-Tag و میکروسرویس های Auto-Tag URL می باشد.
• تحلیل احساسات، بر اساس StanfordNLP می تواند برای تشخیص احساسات، نظر یا عقیده درباره يک نظریه از نظرات بسیار منفی گرفته تا خنثی و بسیار خوب و مثبت استفاده شود. برنامه نویس ها معمولا این الگوریتم را برای تشخیص احساسات در يک جمله یا تجزیه و تحلیل احساسات در رسانه های اجتماعی به كار می گیرند.

الگوریتم های پردازش زبان طبیعی معمولا بر اساس الگوریتم های یادگیری ماشین می باشد. NLP به جای کدنویسی مجموعه ای بزرگ از قوانین، می تواند به یادگیری ماشینی اعتماد کند تا با آنالیز مجموعه ای از مثال ها این قوانین را به صورت خودكار بیاموزد. به طور کلی هرچه داده های بیشتری تحلیل شود، مدل دقیق تر خواهد شد. آنالیز رسانه های اجتماعی يک مثال عالی از كاربرد NLP می باشد. برندها به صورت آنلاین مكالمات پیرامون مسائل مختلف را دنبال می کنند تا ببینند مشتری ها چه می گویند و درک صحیحی از رفتار آن ها به دست بیاورند.

Stanford NLP

مجموعه ای از ابزارهای پردازش زبان طبیعی است كه نقش دستوری کلمات، متن كاوی، بازشناسی موجودیت اسمی، سیستم تفکيک پذیری نقش، تحلیل احساسات را عرضه می کند.

دوره های آموزشی فناوری پردازش زبان طبیعی

Certificate in Natural Language Technology

وقتی شما با تلفن همراه خود یا سیستم مسیریابی خودرو صحبت می کنید یا به عکس وقتی آن ها با شما صحبت می کنند، در واقع شما نتیجه توسعه پردازش زبان طبیعی را مشاهده می کنید. این زمینه بر طراحی و خلق نرم افزارهایی كه قادر هستند زبان انسان را آنالیز کنند، تمرکز کرده در چند سال اخیر رشد بی سابقه ای داشته است و در بسیاری از تکنولوژی ها به گرفته می شود.

Outline of natural language processing (Wikipedia)

این طرح يک مرور کلی و راهنمای موضوعی را از پردازش زبان طبیعی فراهم کرده است؛ پردازش زبان های طبیعی، فعالیت كامپیوترها كه در آن كامپیوتر می تواند زبان طبیعی را آنالیز، درک و در نهایت تولید کند.

Udemy’s Introduction to Natural Language Processing

شما در این دوره، با فناوری پردازش زبان طبیعی و با کمک زبان پایتون و NLTK آشنا می شوید. در واقع از طریق يک رویکرد عملی، به طور مستقیم، كار با تجزیه و تحلیل متن را تجربه خواهید کرد. شما به عنوان دانشجوی این دوره، جدیدترین مطالب كه شامل مرور کنفرانس ها و سخنرانی ها، نمونه کدهای جدید و پروژه  های جدید است را به صورت رایگان دریافت خواهید کرد.

Stanford Natural Language Processing on Coursera

این دوره طیف گسترده ای از مباحث پردازش زبان طبیعی را به همراه کلمات، توکن سازی جملات، طبقه بندی متون، آنالیز احساسات، تصحیح املا، استخراج اطلاعات، تجزیه، استخراج معنی و پرسش و پاسخ پوشش می دهد. شما همینطور با تئوری های اساسی از آمار، احتمالات، یادگیری ماشینی كه برای این رشته بسیار پر اهمیت است، آشنا می شوید. این دوره الگوریتم های اساسی مثل زبان مدلسازی n-gram، naive bayes، طبقه بندی متن، مدل های متوالی مثل مدل های پنهان مارکوف و وابستگی احتمالی را در اختیار شما قرار می دهد.

Stanford Machine Learning on Coursera

یادگیری ماشین علم عملی شدن كامپیوترها بدون برنامه ریزی مشخص می باشد. همینطور بسیاری از متخصصین گمان می کنند كه بهترین راه پیشرفت حرکت به سمت هوش مصنوعی می باشد. در این دوره شما درباره كاربردی ترین تکنيک های یادگیری ماشین می آموزید و می توانید آن ها را به صورت عملی اجرا کنید تا تنها برای شما كار کند.

Natural language processing (Wikipedia)

پردازش زبان طبیعی شاخه ای از علوم كامپیوتر، هوش مصنوعی و زبان شناسی محاسباتی به شمار می آید كه به تعامل میان كامپیوترها و زبان انسان ها می پردازد. در سال ۱۹۵۰ آلن تورینگ مقاله ای را تحت عنوان Computing Machinery and Intelligence منتشر کرد كه اکنون ملاک هوش به شمار می آید و از آن به عنوان آزمون تورینگ یاد می شود. در اواخر سال ۱۹۸۰ با معرفی الگوریتم های یادگیری ماشین برای پردازش زبان انقلاب بزرگی در پردازش زبان طبیعی رخ داد.

Natural Language Toolkit

NTLK بستری برای ساخت برنامه های پایتون به منظور كار با داده های زبان های انسانی می باشد. این بستر رابط كاربردی آسانی برای بیش از ۵۰ پیکره و منابع لغوی نظیر WordNet دارد و مجموعه ای از کتابخانه ها طبقه بندی شده پردازش متن، توکن سازی، ریشه یابی، برچسب زنی، تجزیه و استدلال معنایی و فروم های فعال گفت وگو را در اختیار شما قرار می دهد. پردازش زبان با پایتون مقدمه ای عملی برای برنامه نویسی پردازش زبان  را فراهم می کند.

Apache OpenNLP

کتابخانه OpenNLP يک ابزار مبتنی بر یادگیری ماشینی برای پردازش متن زبان طبیعی به شمار می آید.

کتاب های پیشنهادی پردازش زبان طبیعی برای مبتدی ها

Foundations of Statistical Natural Language Processing

این کتاب اولین اثر كامل و جامع برای معرفی پردازش آماری زبان طبیعی است و شامل تئوری ها و الگوریتم های لازم برای ابزار NLP می باشد. این اثر مباحث اساسی ریاضی و زبانی را به طور دقیق ارائه کرده و همچنین دارای بحث و تبادل نظر روش های آماری است كه به دانشجویان و محققان اجازه می دهد تا نظریات خود را پیاده سازی کنند.

Handbook of Natural Language Processing

دومین ویرایش این کتاب، ابزارها و تکنيک های كاربردی برای اجرای پردازش زبان طبیعی در كامپیوتر را ارائه می دهد. همینطور مطالب قدیمی و منسوخ از کتاب حذف شده. این ویرایش هر فصل را با مطالب جدید و كاربردی نظیر تحلیل احساسات به روز رسانی کرده و محتوای آن را توسعه داده می باشد.

Speech and Language Processing

این کتاب در نوع خود اولین اثری است كه به طور كامل زبان فناوری، تمام سطوح آن و تمام فناوری های مدرن را پوشش می دهد. این اثر با به كارگیری آمار و الگوریتم های یادگیری ماشین برای نهاد های بزرگ، رویکردی تجربی را ارائه می دهد.

Natural Language Processing with Python: Analyzing Text with the Natural Language Toolkit

این کتاب درباره پردازش زبان طبیعی می باشد. منظور از زبان طبیعی، زبانی است كه افراد در گفت وگوهای روزمره خود به كار می برند مثل زبان انگلیسی، هندی یا پرتغالی. از سوی دیگر، این می تواند به سادگی شمارش تعداد کلمات برای مقایسه سبک های مختلف نگارش باشد.

Introduction to Information Retrieval

تا همین سال ۱۹۹۰، مطالعات نشان می داد مردم ترجیح می دهند اطلاعات را از طریق افراد دیگر دریافت کنند تا اینکه آن را از سیستم های بازیابی اطلاعات بگیرند. با این حال در طول دهه گذشته بهینه سازی بی وقفه اطلاعات، کیفیت موتورهای جست وجوی وب را به سطح کیفی مطلوبی سوق داده كه اکثر مردم از آن رضایت دارند.

همینطور جست وجوی در وب به يک منبع قابل اطمینان و ارجح برای یافتن اطلاعات تبدیل شده. به عنوان مثال یافته ها در سال ۲۰۰۴ نشان می دهد كه ۹۲ درصد از كابران اینترنت معتقدند اینترنت فضای بسیار خوبی برای دریافت اطلاعات روزانه می باشد. در کمال تعجب بسیار، بازیابی اطلاعات از يک رشته دانشگاهی به مبنای اساسی برای دسترسی به اطلاعات بیشتر تبدیل شده.

برای شرکت در بوت کمپ پردازش زبان طبیعی(NLP) و کلاس های آموزش هوش مصنوعی بهترین گزینه پیش روی شما هستیم!

آیا می خواهید به دنیای پر جنب و جوش هوش مصنوعی و پردازش زبان طبیعی وارد شوید؟ آیا می خواهید به یکی از پرطرفدارترین حوزه های فناوری اطلاعات و ارتباطات وارد شوید؟ اگر پاسخ شما بله است، آموزش پردازش زبان طبیعی در هوش مصنوعی دوره ای است که شما را با مفاهیم اساسی و پیشرفته این حوزه آشنا می کند و امکان ایجاد برنامه ها و سیستم های هوشمند و مبتنی بر زبان طبیعی را به شما می دهد.

در این دوره، شما با الگوریتم ها و مدل های مختلف پردازش زبان طبیعی آشنا خواهید شد و مهارت های لازم برای تحلیل و پردازش داده های متنی را خواهید آموخت. همچنین، با استفاده از ابزارها و فریمورک های مختلف، می توانید سیستم های هوشمند و خودکار برای تشخیص و ترجمه متون، تولید متن و پردازش زبان طبیعی ایجاد کنید.

پس اگر تمایل دارید تا به یکی از پرطرفدارترین حوزه های فناوری و هوش مصنوعی وارد شوید، همین حالا در کلاس های آموزش پردازش زبان طبیعی در هوش مصنوعی ثبت نام کنید و مهارت های لازم را به دست آورید.

کلاس های آموزش هوش مصنوعی با هدف آموزش مفاهیم پیشرفته و کاربردی هوش مصنوعی برای توسعه دانش و مهارت های شما برگزار می شود. این کلاس ها توسط اساتید مجرب و با تجربه در حوزه هوش مصنوعی برگزار می شود و شما را با مفاهیمی چون یادگیری ماشین، شبکه های عصبی، پردازش زبان طبیعی و بیشتر آشنا می کنند.

با شرکت در این کلاس ها، می توانید به سرعت به یک تخصص کار حوزه هوش مصنوعی تبدیل شوید و به دنیایی پر از فرصت های شغلی و کسب و کار دست پیدا کنید. ثبت نام در کلاس های آموزش هوش مصنوعی را از دست ندهید و از این فرصت برای توسعه حرفه ای خود بهره ببرید.