موسیقیدانان آماتور و حرفه ای به طور یکسان ممکن است ساعت ها صرف ریختن در کلیپ های YouTube شوند تا بفهمند دقیقاً چگونه می توانند قطعات خاصی از آهنگهای مورد علاقه خود را پخش کنند. اما اگر راهی برای پخش فیلم و جدا کردن تنها ابزاری که می خواستید بشنوید وجود دارد؟
این نتیجه یک پروژه جدید هوش مصنوعی از آزمایشگاه علوم کامپیوتر و هوش مصنوعی MIT (CSAIL) است: یک سیستم یادگیری عمیق که می تواند به یک ویدیو از یک عملکرد موسیقی نگاه کند ، و صداهای سازهای خاص را جدا کند و آنها را بلندتر یا نرم تر کند. .
این سیستم ، که "خود نظارت داشته باشد" ، نیازی به حاشیه نویسی انسان در مورد ابزارها یا اصطلاحات آنها ندارد.
سیستم "PixelPlayer" که در بیش از 60 ساعت آموزش دیده است ، می تواند عملکرد موسیقی که قبلاً مشاهده نشده است را مشاهده کند ، سازهای خاص را در سطح پیکسل شناسایی کند و صداهایی را که با آن سازها در ارتباط هستند استخراج کند.
به عنوان مثال ، می توانید یک فیلم از توبا و ترومپت را با نواختن آهنگ موضوع "برادران سوپر ماریو" پخش کنید و موجهای صوتی مرتبط با هر ساز را جدا کنید .
محققان می گویند که امکان تغییر حجم ابزارهای فردی به این معنی است که در آینده سیستم هایی مانند این می توانند به مهندسان کمک کنند تا کیفیت صوتی فیلم های کنسرت قدیمی را بهبود بخشند. شما حتی می توانید تصور كنید كه تولیدكنندگان قطعات خاص را تهیه می كنند و آنچه را كه با سایر سازها به نظر می رسند را پیش نمایش می كنند (یعنی گیتار برقی كه برای موسیقی صوتی تعویض می شود).
در مقاله جدید ، این تیم نشان داد كه PixelPlayer می تواند صداهای بیش از 20 ساز معمولاً دیده شده را شناسایی كند. نویسنده اصلی Hang Zhao می گوید اگر این سیستم آموزش بیشتری داشته باشد ، این سیستم می تواند ابزارهای بیشتری را نیز شناسایی کند ، اگرچه ممکن است در کنترل تفاوت های ظریف بین زیر کلاس های سازها (مانند یک آلتو ساکس در برابر یک تنور) مشکل داشته باشد.
تلاش های قبلی برای جدا کردن منابع صدا منحصراً روی صوتی متمرکز شده است که اغلب به برچسب زدن گسترده انسانی نیاز دارد. در مقابل ، PixelPlayer عنصر بینایی را که محققان می گویند برچسب های انسان را غیر ضروری می کند ، معرفی می کند ، زیرا بینایی خود نظارت را فراهم می کند.
این سیستم ابتدا مناطق تصویر ایجاد شده را پیدا می کند و سپس صداهای ورودی را به مجموعه ای از مؤلفه ها نشان می دهد که صدا را از هر پیکسل جدا می کند.
ژائو ، دانشجوی دکتری می گوید: "ما انتظار داشتیم یک سناریو بهترین مورد باشد که بتوانیم تشخیص دهیم کدام سازها کدام نوع صداها را ایجاد می کنند." دانشجوی CSAIL. "ما شگفت زده شدیم كه در واقع می توانیم سازها را در سطح پیكسل در مکانی قرار دهیم. قادر به انجام این كار بسیاری از فرصتها را باز می كنیم ، مانند اینكه می توانیم با استفاده از یك كلیك بر روی ویدیو ، صوتی سازهای مختلف را ویرایش كنیم."
PixelPlayer از روشهای "یادگیری عمیق" استفاده می کند ، بدین معنی که با استفاده از به اصطلاح "شبکه های عصبی" که در فیلم های موجود آموزش دیده اند ، الگوهای موجود در داده ها را پیدا می کنند. به طور خاص ، یک شبکه عصبی تصاویر تصویری را تجزیه و تحلیل می کند ، یکی صدا را تجزیه و تحلیل می کند ، و سوم "سینت سایزر" پیکسل های خاصی را با موج های صوتی خاص برای جدا کردن صداهای مختلف مرتبط می کند.
موسیقیدانان آماتور و حرفه ای به طور یکسان ممکن است ساعت ها صرف ریختن در کلیپ های YouTube شوند تا بفهمند دقیقاً چگونه می توانند قطعات خاصی از آهنگهای مورد علاقه خود را پخش کنند. اما اگر راهی برای پخش فیلم و جدا کردن تنها ابزاری که می خواستید بشنوید وجود دارد؟
این نتیجه یک پروژه جدید هوش مصنوعی از آزمایشگاه علوم کامپیوتر و هوش مصنوعی MIT (CSAIL) است: یک سیستم یادگیری عمیق که می تواند به یک ویدیو از یک عملکرد موسیقی نگاه کند ، و صداهای سازهای خاص را جدا کند و آنها را بلندتر یا نرم تر کند. .
این سیستم ، که "خود نظارت داشته باشد" ، نیازی به حاشیه نویسی انسان در مورد ابزارها یا اصطلاحات آنها ندارد.
سیستم "PixelPlayer" که در بیش از 60 ساعت آموزش دیده است ، می تواند عملکرد موسیقی که قبلاً مشاهده نشده است را مشاهده کند ، سازهای خاص را در سطح پیکسل شناسایی کند و صداهایی را که با آن سازها در ارتباط هستند استخراج کند.
به عنوان مثال ، می توانید یک فیلم از توبا و ترومپت را با نواختن آهنگ موضوع "برادران سوپر ماریو" پخش کنید و موجهای صوتی مرتبط با هر ساز را جدا کنید .
محققان می گویند که امکان تغییر حجم ابزارهای فردی به این معنی است که در آینده سیستم هایی مانند این می توانند به مهندسان کمک کنند تا کیفیت صوتی فیلم های کنسرت قدیمی را بهبود بخشند. شما حتی می توانید تصور كنید كه تولیدكنندگان قطعات خاص را تهیه می كنند و آنچه را كه با سایر سازها به نظر می رسند را پیش نمایش می كنند (یعنی گیتار برقی كه برای موسیقی صوتی تعویض می شود).
در مقاله جدید ، این تیم نشان داد كه PixelPlayer می تواند صداهای بیش از 20 ساز معمولاً دیده شده را شناسایی كند. نویسنده اصلی Hang Zhao می گوید اگر این سیستم آموزش بیشتری داشته باشد ، این سیستم می تواند ابزارهای بیشتری را نیز شناسایی کند ، اگرچه ممکن است در کنترل تفاوت های ظریف بین زیر کلاس های سازها (مانند یک آلتو ساکس در برابر یک تنور) مشکل داشته باشد.
تلاش های قبلی برای جدا کردن منابع صدا منحصراً روی صوتی متمرکز شده است که اغلب به برچسب زدن گسترده انسانی نیاز دارد. در مقابل ، PixelPlayer عنصر بینایی را که محققان می گویند برچسب های انسان را غیر ضروری می کند ، معرفی می کند ، زیرا بینایی خود نظارت را فراهم می کند.
این سیستم ابتدا مناطق تصویر ایجاد شده را پیدا می کند و سپس صداهای ورودی را به مجموعه ای از مؤلفه ها نشان می دهد که صدا را از هر پیکسل جدا می کند.
ژائو ، دانشجوی دکتری می گوید: "ما انتظار داشتیم یک سناریو بهترین مورد باشد که بتوانیم تشخیص دهیم کدام سازها کدام نوع صداها را ایجاد می کنند." دانشجوی CSAIL. "ما شگفت زده شدیم كه در واقع می توانیم سازها را در سطح پیكسل در مکانی قرار دهیم. قادر به انجام این كار بسیاری از فرصتها را باز می كنیم ، مانند اینكه می توانیم با استفاده از یك كلیك بر روی ویدیو ، صوتی سازهای مختلف را ویرایش كنیم."
PixelPlayer از روشهای "یادگیری عمیق" استفاده می کند ، بدین معنی که با استفاده از به اصطلاح "شبکه های عصبی" که در فیلم های موجود آموزش دیده اند ، الگوهای موجود در داده ها را پیدا می کنند. به طور خاص ، یک شبکه عصبی تصاویر تصویری را تجزیه و تحلیل می کند ، یکی صدا را تجزیه و تحلیل می کند ، و سوم "سینت سایزر" پیکسل های خاصی را با موج های صوتی خاص برای جدا کردن صداهای مختلف مرتبط می کند.
انواع آکومولاتور