دانشمندان برای بهبود توانایی های تفسیری الگوریتم های یادگیری ماشین از گزارش های رادیولوژی که با تصاویر پزشکی همراه است  استفاده می کنند.

خواندن سریع و دقیق اشعه ایکس یا برخی دیگر از تصاویر پزشکی می تواند برای سلامتی بیمار حیاتی باشد و حتی ممکن است یک زندگی را نجات دهد. دستیابی به چنین ارزیابی بستگی به در دسترس بودن یک رادیولوژیست ماهر دارد و در نتیجه ، پاسخ سریع همیشه امکان پذیر نیست.  Ruizhi "Ray" Liao ، فوق لیسانس و فارغ التحصیل دکترا در آزمایشگاه علوم رایانه و هوش مصنوعی MIT (CSAIL) می گوید ، به همین دلیل ، "ما می خواهیم ماشین هایی را آموزش دهیم که قادر به بازتولید کارهایی هستند که رادیولوژیست ها هر روز انجام می دهند."

اگرچه ایده استفاده از رایانه برای تفسیر تصاویر چیز جدیدی نیست ، گروه MIT برای بهبود توانایی های تفسیری الگوریتم های یادگیری ماشین از نظریه ی اطلاعات متقابل - اندازه گیری آماری وابستگی متقابل دو متغیر مختلف - به منظور افزایش اثربخشی روش آنها استفاده می کند.

ابتدا ، یک شبکه عصبی برای تعیین میزان بیماری ، مانند ادم ریوی ، با ارائه تصاویر اشعه ایکس متعدد از ریه های بیماران ، همراه با رتبه بندی پزشک از شدت هر مورد ، آموزش می بیند. به این اطلاعات در مجموعه ای از اعداد گنجانده شده است. یک شبکه عصبی جداگانه همین کار را برای متن انجام می دهد و اطلاعات آن را در مجموعه ای متفاوت از اعداد نشان می دهد. سپس یک شبکه عصبی سوم اطلاعات بین تصاویر و متن را به صورت هماهنگ ادغام می کند که اطلاعات متقابل بین دو مجموعه داده را حداکثر می کند.

لیائو ، گلند و همکارانشان نوآوری دیگری را ارائه کرده اند که چندین مزیت را به همراه دارد: به جای کار بر روی کل تصاویر و گزارش های رادیولوژی ، آنها گزارش ها را به جملات جداگانه و قسمت هایی از آن تصاویر که جملات مربوط می شوند ، تقسیم می کنند.

گلاند می گوید که با انجام این کارها ، "شدت بیماری را دقیق تر از آنچه که کل تصویر و کل گزارش را مشاهده کنید ، تخمین می زند و از آنجا که مدل در حال بررسی قطعات کوچکتر از داده ها است ، می تواند با سهولت بیشتری یاد بگیرد و نمونه های بیشتری برای آموزش داشته باشد. "

به همین منظور ، در حال حاضر یک برنامه آزمایشی در مرکز پزشکی Beth Deaconess در حال انجام است تا ببیند چگونه مدل یادگیری ماشینی MIT می تواند بر نحوه تصمیم گیری پزشکان در مدیریت بیماران مبتلا به نارسایی قلبی تأثیر بگذارد ، به ویژه در شرایط اورژانس که سرعت بسیار مهم است.

201000706.002