مرجع مهندسی كنترل | دانش با کیفیت در مرز علم
در این پست آموزش ویدئویی زنجیره و فرآیند تصادفی مارکوف قرار داده شده است. زنجیره مارکوف (Markov Chain) یا فرآیند مارکوف (Markov Process) یک فرآیند تصادفی است که به سبب ویژگی های منحصر به فردش کاربردهای زیادی برای مدل سازی ساختارها در دنیای واقعی داشته و مورد علاقه ی تحلیلگران و مهندسین با گرایش های مختلف می باشد. فرآیند مارکف یک سیستم ریاضی با تعدادی حالت هست که در آن انتقال یا گذار (Transition) از یک حالت به حالت دیگر صورت می‌گیرد. مهمترین ویژگی زنجیره مارکوف آن است که یک فرآیندی تصادفی بدون حافظه است. بدین معنی که حالت بعد تنها به حالت فعلی بستگی دارد و به وقایع قبل از آن وابسته نیست. این خاصیت اصطلاحا خاصیت مارکف نام دارد. هدف از این مجموعه آموزشی آشنایی با زنجیره مارکوف هست و گردآوری مطالب در آن به نحوه صورت پذیرفته که برای دانشجویان و محققین رشته های ریاضی، مهندسی کامپیوتر و مهندسی برق مفید باشد.
این پست تکمیل شده است. در صورت نیاز به ارائه مباحث تکمیلی لطفا درخواست خود را از طریق مدیر سایت مطرح فرمایید.
جلسه اول: در این جلسه مقدمه ای از فرآیند مارکوف بیان شده است. ابتدا توسط چند مثال مفهوم یک فرآیند مارکوف به صورت کامل شرح داده شده و در ادامه دو اصطلاح مهم این فرآیند ها یعنی حالت (State) و گذار (Transition) شرح داده شده اند. در ادامه مفهوم احتمالات گذار (Transition Probabilities) و نحوه به دست آوردن درخت گذار، دیاگرام گذار و ماتریس گذار (Transition Matrix) نیز بیان شده اند.
مدت زمان: 45 دقیقه
محتوا: فایل تصویری 720p و پاورپوینت درس
پیش نمایش جلسه اول:
این پیش نمایش دارای کیفیت 720p است ولی ممکن است به علت سرعت کم اینترنت شما با کیفیت پایینتر نمایش داده شوند.
با نگهداشتن نشانگر بر روی گزینه 
در نوار پایین صفحه نمایش، می‌توانید کیفیت دلخواه را انتخاب کنید.
جلسه دوم: در جلسه اول از این مجموعه آموزشی به معرفی مقدماتی زنجیره مارکوف و دو مفهوم اصلی آن پرداخته شده است. در جلسه دوم مفاهیم دیگر این فرآیند همچون احتمالات گام بعدی و مفهوم احتمالات حالت اولیه (Initial State Probabilities) شرح داده شده اند. با استفاده از مثال، این مفاهیم بررسی و نقش آن ها در تحلیل یک فرآیند مارکوف توضیح داده شده است.
مدت زمان: 30 دقیقه
محتوا: فایل تصویری 720p و پاورپوینت درس
پیش نمایش جلسه دوم:
این پیش نمایش دارای کیفیت 720p است ولی ممکن است به علت سرعت کم اینترنت شما با کیفیت پایینتر نمایش داده شوند.
با نگهداشتن نشانگر بر روی گزینه در نوار پایین صفحه نمایش، می‌توانید کیفیت دلخواه را انتخاب کنید.
جلسه سوم: در جلسات اول و دوم این آموزش مقدمه ای از فرآیند مارکوف و مثال هایی از آن به همراه مفاهیم اصلی آن بیان شده اند. در جلسه سوم خاصیت مارکوفی (Markov Property) و بی حافظه (Memoryless) بودن به صورت مفصل مورد بحث قرار گرفته است. همچنین ویژگی های یک زنجیره مارکوف اعم از ارگودیک بودن (Ergodic)، قاعده مند بودن (Regular)، پریودیک بودن (Periodic)، کاهش ناپذیری (Irreducibility)، به صورت مفصل بیان می گردد. دسته بندی انواع زنجیره مارکوف من جمله، زنجیره مارکوف حالت محدود (Finite State) یا زنجیره مارکوف با حالت نامحدود (Infinite State) و همچنین زنجیره مارکوف زمان پیوسته (Continuous Time Markov Chain) و زنجیره مارکوف زمان گسسته (Discrete Time Markov Chain) نیز مورد بررسی قرار می گیرند و تفاوت های آن ها به ویژه از جنبه ماتریس نرخ گذار (Transition Rate Matrix) و ماتریس احتمالات گذار (Transition Probability Matrix) ذکر می گردد. در نهایت یک زنجیره مارکوف به کمک کدنویسی با نرم افزار MATLAB تولید می گردد تا نحوه تغییر حالت در این فرآیند تصادفی مشخص گردد.
مدت زمان: 54 دقیقه
محتوا: فایل تصویری 720p و پاورپوینت درس و فایل کدنویسی
پیش نمایش جلسه سوم:
این پیش نمایش دارای کیفیت 720p است ولی ممکن است به علت سرعت کم اینترنت شما با کیفیت پایینتر نمایش داده شوند.
با نگهداشتن نشانگر بر روی گزینه در نوار پایین صفحه نمایش، می‌توانید کیفیت دلخواه را انتخاب کنید.
جلسه چهارم: در جلسات اول و دوم و سوم این آموزش مقدمه ای از زنجیره و فرآیند مارکوف و مثال هایی از آن به همراه مفاهیم اصلی و کد نویسی MATLAB آن بیان شده اند. در جلسه چهارم زنجیره مارکوف زمان گسسته (Discrete Time Markov Chain) به طور خاص مورد بررسی قرار می گیرد. این زنجیره ها در بحث های تصادفی مهندسی برق کنترل، قدرت، ریاضی مالی و اقتصادی کاربرد بسیاری دارند. بیان مقدمات، مدلسازی مارکوفی، احتمالات گذرا، حالت های حدی و زنجیره های مارکوف جاذب (Absorbing Markov Chains) و مثال های عددی، مباحث اصلی این جلسه را تشکیل می دهند.
مدت زمان: 57 دقیقه
محتوا: فایل تصویری 720p و پاورپورینت درس
پیش نمایش جلسه چهارم:
این پیش نمایش دارای کیفیت 720p است ولی ممکن است به علت سرعت کم اینترنت شما با کیفیت پایینتر نمایش داده شوند.
با نگهداشتن نشانگر بر روی گزینه در نوار پایین صفحه نمایش، می‌توانید کیفیت دلخواه را انتخاب کنید.
جلسه پنجم: جلسه پنجم این مجموعه به فرآیندهای تصمیم گیری مارکوف، یعنی فرآیند مارکوف در حوزه زمان پیوسته (Continuous Time Markov Chain) اختصاص یافته است. فرآیند های مارکوف در تحلیل قابلیت اطمینان سیستم های قدرت (Reliability)، در مدل سازی سیستم های در معرض عیب یا fault prone و بسیاری موارد دیگر کاربرد دارند. بیان مقدمات، مدلسازی مارکوفی، حل معادلات دیفرانسیل احتمالات گذار، حالت های حدی و مثال عددی مباحث اصلی این جلسه را تشکیل می دهند.
مدت زمان: 49 دقیقه
محتوا: فایل تصویری 720p و پاورپوینت درس
پیش نمایش جلسه پنجم:
این پیش نمایش دارای کیفیت 720p است ولی ممکن است به علت سرعت کم اینترنت شما با کیفیت پایینتر نمایش داده شوند.
با نگهداشتن نشانگر بر روی گزینه در نوار پایین صفحه نمایش، می‌توانید کیفیت دلخواه را انتخاب کنید.
جلسه ششم: جلسه ششم این مجموعه به فرآیندهای نیمه مارکوف، (Semi Markov) اختصاص یافته است. فرآیند های نیمه مارکوف با نرخ های متغیر با زمانی که دارند مدل های مناسیبی برای سیستم های با تغییرات اساسی بوده و در مباحثی چون قابلیت اطمینان سیستم های قدرت بسیار کارآمد هستند. بیان مقدمات، مفهوم فرآیند نیمه مارکوف، زمان انتظار، زمان اقامت، توزیع تصادفی زمان های انتظار، تفاوت فرایند مارکوف، نیمه مارکوف و مثال عددی مباحث اصلی این جلسه را تشکیل می دهند.
مدت زمان: 44 دقیقه
محتوا: فایل تصویری 720p و پاورپوینت درس
پیش نمایش جلسه ششم:
این پیش نمایش دارای کیفیت 720p است ولی ممکن است به علت سرعت کم اینترنت شما با کیفیت پایینتر نمایش داده شوند.
با نگهداشتن نشانگر بر روی گزینه در نوار پایین صفحه نمایش، می‌توانید کیفیت دلخواه را انتخاب کنید.
جلسه هفتم: جلسه هفتم این مجموعه به فرآیندهای مارکوف ناهمگن، (Nonhomogeneous Markov) اختصاص یافته است. بیان مقدمات، مفهوم فرایند مارکوف ناهمگن، بررسی فرآیند مارکوف تکه ای همگن (Piecewise Homogeneous Markov Process) و مثال عددی و کاربردی در مورد آن، مباحث اصلی این جلسه را تشکیل می دهند.
مدت زمان: 40 دقیقه
محتوا: فایل تصویری 720p و پاورپوینت درس
پیش نمایش جلسه هفتم:
این پیش نمایش دارای کیفیت 720p است ولی ممکن است به علت سرعت کم اینترنت شما با کیفیت پایینتر نمایش داده شوند.
با نگهداشتن نشانگر بر روی گزینه در نوار پایین صفحه نمایش، می‌توانید کیفیت دلخواه را انتخاب کنید.
جلسه هشتم: این جلسه به نحوه تخمین احتمالات گذار فرآیندهای مارکوف (transition Probability estimation) اختصاص یافته است. در ابتدا مثال هایی ساده به منظور این تخمین حل شده و در ادامه با استفاده از نرم افار MATLAB و به کمک یک پکیج (Package) نرم افزاری که قابلیت افزوده شدن به MATLAB را دارد نحوه تخمین احتمالات گذار شرح داده می شود. مثالی در این زمینه حل شده و اثر تعداد داده ها در دقت تخمین شرح داده می شود. یک مجموعه داده نیز در این جلسه به منظور تست روش در اختیار قرار داده می شود.
مدت زمان: 50 دقیقه
محتوا: فایل تصویری 720p ، پاورپوینت درس، پکیج نرم افزاری تخمین احتمالات گذار در MATLAB، فایل داده جهت تست روش
پیش نمایش جلسه هشتم:
این پیش نمایش دارای کیفیت 720p است ولی ممکن است به علت سرعت کم اینترنت شما با کیفیت پایینتر نمایش داده شوند.
با نگهداشتن نشانگر بر روی گزینه در نوار پایین صفحه نمایش، می‌توانید کیفیت دلخواه را انتخاب کنید.
جلسه نهم: این جلسه به نرخ های گذار مامعین (Uncertain Transition Rates) و بحث عدم قطعیت در زنجیره های مارکوف و فرآیندهای مارکوف پرداخته است. این جلسه شامل، بررسی و معرفی انواع عدم قطعیت و نامعینی در زنجیره های مارکوف است و عدم قطعیت جمع شونده و ضرب شونده باند محدود (Norm Bounded Uncertain Transition Rates)، عدم قطعیت پلی توپیک یا عدم قطعیت چند وجهی (Polytopic Uncertainty) و نرخ های گذار نامعین نسبی (Partialy Unknown Transition Rates) را در بر می گیرد. در ادامه منبع وقوع این عدم قطعیت ها توضیح داده شده و مثال هایی از هریک ارائه گشته است.
مدت زمان: 47 دقیقه
محتوا: فایل تصویری 720p ، پاورپوینت درس، مقاله نمونه با سیستم عملی
پیش نمایش جلسه نهم:
این پیش نمایش دارای کیفیت 720p است ولی ممکن است به علت سرعت کم اینترنت شما با کیفیت پایینتر نمایش داده شوند.
با نگهداشتن نشانگر بر روی گزینه در نوار پایین صفحه نمایش، می‌توانید کیفیت دلخواه را انتخاب کنید.
- لینک دانلود فایل بلافاصله بعد از پرداخت وجه به نمایش در خواهد آمد.
- همچنین لینک دانلود به ایمیل شما ارسال خواهد شد به همین دلیل ایمیل خود را به دقت وارد نمایید.
- ممکن است ایمیل ارسالی به پوشه اسپم یا Bulk ایمیل شما ارسال شده باشد.
- در صورتی که به هر دلیلی موفق به دانلود فایل مورد نظر نشدید با ما تماس بگیرید.
منیره
سلام
با تشکر از آموزشهای مفید شما
در مورد جلسه هشتم، مطالبی که بیان کردید در مورد زنجیره مارکوف CTMC چطور هست؟ یعنی ماتریس نرخ رو چطور باید بدست بیاریم؟
باز هم میتونیم از داده های گسسته و maximum likelihood برای بدست آوردن ماتریس نرخ استفاده کنیم ؟
دکتر فرجی
سلام و ممنون از لطف شما.
تخمین نرخ جلسه هشتم بر اساس داده های گسسته و برای مارکوف گسسته هست. برای مارکوف پیوسته قضیه یه کم متفاوته، چون بحث تخمین تابع توزیع احتمال زمان اقامت مطرح می شه، که البته در مورد مارکوف همگن توزیع مربوطه در واقع نمائی هست. با این که اساس این تخمین هم همون maximum likelihood هست اما روش ها و تکنیک های متفاوتی داره.
منیره
متشکرم از پاسخگویی شما.
امکانش هست که در این زمینه یک منبع مناسب به من معرفی کنید
دکتر فرجی
من رفرنس خاصی در این زمینه ندیدم اما با عبارت CTMC Transition Rate Estimation در گوگل جستجو کنید مقالات و روش های متعددی داره
زهرا
سلام و عرض وقت بخیر، مطالب اموزشی شما بسیار مفید بودن
امکانش هست بفرمایید ایا ایجاد ماتریس مشاهدات در میان مباحث مطرح شده بیان شده اند یا خیر؟
مشکل اول من ایجاد ماتریس احتمالات گذر بود که با اموزش جلسه هشت شما حل شد
اما مشکل دوم ایجاد ماتریس مشاهدات است که هنوز راهی برای ان پیدا نکرده ام.
از راهنمایی شما سپاسگزارم
دکتر فرجی
سلام خوشحالم که براتون مفید بوده، ایا منظورتون مشاهدات مارکوف مخفی هست ؟
پادرا
سلام و ممنون از اطلاعات خوبتون
من 14 تا شاخص دارم که با اکپرت چویس الویت بندیشون کردم .حالا میخوام با روش مارکوف پیش بینی کنم که دوره بعد کدوم یکی احتمال داره با الویت ترین شاخص باشه تا بتونم برای جلوگیری از وقوعش استراتژی بدم .
ماتریس انتقالم 14 در 14 میشه (مارکوف پیوسته چون بازه ها پیوسته هستند ) و بردار وضعیت اولیه همون اعدادی که نرم افزار اکسپرت چویس بهم داده.حالا مشکلم اینه که اعداد داخل ماتریس چجوری باید باشه ؟
بهترین روش بدست آوردنش فکر میکنم دلفی باشه ولی کلن نمیدونم اعداد داخل ماتریس انتقال رو چجوری بنویسم .
ممنون میشم راهنمایی کنید.
دکتر فرجی
سلام. خوشحالم که آموزش ها براتون مفید بوده، اینطور که من از سوالتون متوجه شدم شما باید درایه های ماتریس گذار رو خودتون تخمین بزنید . پیشنهاد می کنم به جلسه ی شماره هشت در مرود تخمین نرخ ها مراجعه کنید
ترانه اسدی
سلام. من اطلاعات یک شرکت( یک ماه )شامل : تاریخ، ساعت و نرخ محصول رادر اختیار دارم .لازم به ذکر است این شرکت محصولات خود را از طریق مزایده به فروش می رساند . من میخوام با استفاده از داده های ماه اول که در اختیار دارم ،نرخ ماه دوم را ازطریق مارکوف پیش بینی کنم.
ویدئو هارو دانلود کردم.ولی نفهمیدم از کدام مبحث این زنجیره باید استفاده کنم ، یعنی در جایگزاری این داده ها در زنجیره به مشکل برخوردم. لطفا کمکم کنید.
مونا فرجی
سلام دوست عزیز
چیزی که شما به احتیاج دارید مدلسازی مارکوفی هست. در این آموزش ها تا حالا فرض بر این بوده که ما زنجیره مارکوف را می شناسیم. یعنی نرخ ها (احتمالات گذار) و ماتریس های گذار زنجیره معلوم هستند.
شما در مرحله اول باید سعی کنید برای مجموعه داده هایی که دارید یک مدلسازی انجام بدید در واقع نرخ ها یا احتمالات گذارش رو تعیین کنید. برید سراغ روش های شناسایی
ترانه اسدی
سلام
1-میخواستم بدونم با داشتن این سه متغیر(تاریخ و ساعت و نرخ) باید از زنجیره مارکوف زمان پیوسته استفاده کنم یا گسسته؟
2-هیچ راهی وجود نداره من این اطلاعات رو براتون ارسال کنم نگاهی بهش بیندازید؟
خواهشا کمکم کنید
مونا فرجی
@ترانه اسدی,
سلام
زمانی که داده در اختیار دارید و می خواههید به صورت مارکوفی مدل کنید باید از مارکوف گسسته استفاده کنید چون تعداد داده ها و بازه های زمانی محدوده هستند
فعلا توصیه می کنم که برید سراغ روش های تعیین ماتریس احتمال گذار با استفاده از داده تا در اولین فرصت بتونم یک جلسه اموزشی در رابطه با این موضوع هم قرار بدم
nasim
لطفا خانم دکتر می فرمایید که حلقه for کدی که نوشتین برای چی هست؟
2.عدد تصادفی برای چی هست از لحاظ مفهومی؟
3. چرا درایه 1و1 و درایه 2و1 با عدد تصادفی مقایسه میشن؟
اگر محبت کنید کد رو بیشتر توضیح بدین ممنون میشم.
مونا فرجی
سلام دوست عزیز.
حتما خاطرتون هست که مارکوف یک فرایند تصادفی هست و بنابرین از مجموعه ای از اعداد تصادفی تولید می شه. هر بار برای این که مشخص بشه اون عدد تصادفی تولید شده به مود اول تعلق داره و یا به مود دوم باید عدد با احتمال تعلقش به مود ها مقایسه بشه. پس تولید اعداد تصادفی و مقایسه ی آونها با احتمالات تعلق به هر مود به این معنا هستند.
nasim
سلام
مطالب بسیار عالی بود ممنون از این ارایه های کامل و قابل فهم
سوال از ارایه سوم دارم خانم دکتر.
اینکه در محاسبه احتمالات گام n ام چرا شرایط اولیه رو در محاسباتمون در نظر نمیگیریم؟
مونا فرجی
سلام دوست عزیز و خوشحالم که براتون مفید بوده.
به طور کلی شرایط اولیه برای محاسبه احتمالات نهایی باید در نظر گرفته بشن. البته در برخی موارد فقط بدست آوردن ماتریس گذار مرحله ی n ام مد نظر هست که اگر فقط ماتریس گذار را خواسته باشه در این موارد نیازی به ضرب کردن شرایط اولیه و محاسبه ی احتمالات نهایی نیست.
mehri
سپاس
متوجه شدم
mehri
من متوجه m واحد حافظه نميشم ..
پس خاصيت ماركفي كه بدون حافظه بودن هست چي ميشه ؟
(مثلا درمورد همون مثال شركت بيمه و محاسبه احتمالات در 12 ماه گذشته وآينده)
و اينكه ميشه گفت كه يك زنجيره ماركف مرتبه m ،همگن نيست؟
با تشكر
مونا فرجی
@mehri,
خاصیت بی حافظگی برای مارکوف مرتبه یک به این معنا هست که حالت آینده فقط به حالت کنونی بستگی داره.
به حافظه گی برای مارکوف مرتبه m به این معنا هست که حالت بعدی فقط به m حالت قبل از ان بستگی دارد.
و در هر دو مورد به مابقی حالت های گذشته بستگی نداره.
mehri
با سلام و خسته نباشید خدمت استاد گرامی
در مورد زنجیره مارکوف مرتبه m که طبق تعریف به m حالت قبلی بستگی دارد،
m(که در آن m متناهی است) فرایندی است که در آن:
‘ Pr ( X n = x n | X n − 1 = x n − 1 , X n − 2 = x n − 2 , … , X 1 = x 1 ) = Pr ( X n = x n | X n − 1 = x n − 1 , X n − 2 = x n − 2 , … , X n − m = x n − m ) for n > m }
آیا با ویژگی مارکفی (بدون حافظه بودن)که وقوع هرحالت در آینده تنها به حالت فعلی بستگی دارد و مستقل از حالتهای قدیمی تر میباشد، تناقض ندارد؟
مونا فرجی
سلام
خیر تناقض نداره. چون اصلا طبق تعریف، یک فرآیند مارکوف مرتبه m یک فرایند با m واحد حافظه هستش.
در این حالت هم وابستگی فقط به همان m گام قبل هست و به قبل تر از اون مرتبط نیست.
امیرحسین
امکان آموزش میکروکنترلر آرم رو ندارید؟
مونا فرجی
سلام انشالله به تدریج آموزش های میکروکنترلر ها هم در سایت قرار خواهد گرفت.