اندازه گیری و ارزیابی تاثیر کارهای انجام شده بر روی محصول

برای ارزیابی عملکرد محصول خود دو سوال را در نظر داشته باشید:

1. چه کارهایی انجام داده اید؟
2. هر کار چه دستاوردی داشت و تاثیر آن دستاورد چه بود؟

به عنوان یک مدیر محصول، پاسخ اولین سوال ساده است؛ لیست محصولات و قابلیت‌‌های آنها، که تیم شما منتشر کرده است به عنوان کارهایی که انجام داده اید می باشد.

اما پاسخ به سوال دوم چالش بر‌انگیز است. تاثیر مثبت دستاورد یک کار، نشان می‌دهد که سرمایه‌گذاری بیشتر در آن زمینه ضروری است و رویکرد اتخاد شده را تایید می‌کند. برعکس، اگر تاثیر منفی یک اقدام مشخص شود، بایستی هر چه زودتر از ادامه آن کار، اجتناب شود.

درک تأثیر اقدامات می‌تواند اولویت‌ها را تغییر دهد، به همین سبب از اهمیت زیادی برخوردار است، اما تعیین و ارزیابی آن بسیار دشوار است.

مشکلات موجود در تجزیه و تحلیل تاثیر اقدامات انجام شده بر روی یک محصول
تاکنون، تیم‌ها دو راهکار برای ارزیابی تأثیر فعالیت‌های خود بر معیارهای کلیدی محصول داشتند؛ که متأسفانه، هر دوی این روش‌ها دارای نقص‌هایی هستند.

یکی از روش‌ها این است که ببینید چگونه معیارهای کلیدی پس از اعمال اصلاحات، تغییر می‌کنند. اگر معیارها بهبود یابند، ممکن است حاصل تغییر صورت گرفته باشد. اما، هیچ راهی برای اطمینان از آن وجود ندارد چرا که عوامل زیادی وجود دارد که می‌تواند در بهبود آن معیارها اثر‌گذار باشند. به عنوان مثال، شاید واحد بازاریابی کمپین جدیدی را منتشر کرده است که باعث بهبود معیارها شده است، یا شاید شروع فصل شلوغی کار شرکت باشد.

روش دیگر استفاده از تست A/B برای اقدامات انجام شده است. تست A/B یک نتیجه علمی و قابل اعتماد به شما می‌دهد، اما معایب خاص خود را دارد. تست‌های A/B برای آماده‌سازی، استقرار و ارزیابی زمان‌بر هستند و سرعت توسعه را کاهش می‌دهند. عامل مشکل‌سازتر این است که نیمی از مشتریان شما تا زمانی که نتیجه آزمایش مشخص نشود، از امکان استفاده از یک قابلیت جدید محروم هستند. تست‌های A/B توانایی ارائه محصولات و یا قابلیت‌های جدید به مشتریان، در سریع‌ترین زمان ممکن را از شما دریغ می‌کنند.

بنابراین، چگونه می‌توانید بدون کند‌کردن روند توسعه، ارزیابی قابل اعتمادی از تأثیر اقدامات داشته باشید؟

پاسخ به سوال مطرح شده یک تکنیک استنتاج علت و معلولی به نام تجزیه و تحلیل آماری است.

راه حل های قدرتمند، بازاریابی هوشمند

روش تجزیه و تحلیل آماری
روش تجزیه و تحلیل آماری، یک ارزیابی‌ آماری معتبر و قابل اعتماد، از تأثیر اقدامات صورت گرفته بدون نیاز به تست A/B ارائه می‌دهد. مراحل این روش به زبان ساده به شرح زیر است:

هنگام ارزیابی یک ویژگی جدید، اولین گام این است که کاربران را به دو گروه تقسیم کنید:

1. پذیرش‌کنندگان: کاربرانی که قابلیت‌ها جدید را امتحان کرده‌اند.
2. غیر پذیرندگان: کاربرانی که تحت تاثیر قابلیت‌های جدید نبوده‌اند.

در شکل اولیه این روش، نحوه عملکرد پذیرندگان و غیرپذیرندگان از نقطه نظر تغییرات معیارهای کلیدی مقایسه می‌شود، اما اگر در هنگام گروه‌بندی، فعال‌ترین کاربران در یکی از گروه‌ها قرار گیرند، یا گرایش و تمایلات کاربران در گروه‌ها متفاوت باشد، این روش نتایج اشتباه و گمراه‌کننده‌ای را به همراه دارد. بنابراین برای گروه بندی کاربران باید هر دو گروه تمایلات مشابه داشته باشند.

اینجاست که روش تجزیه و تحلیل آماری وارد می‌شود.این روش از یک مدل یادگیری ماشین استفاده می‌کند که شناسایی مجموعه‌هایی از کاربران که تمایلات مشابهی دارند را برعهده می‌گیرد و آنها را در گروه‌هایی قرار می‌دهد. در هر گروه تشکیل شده، مدل رفتار پذیرندگان و غیر پذیرندگان مورد مقایسه قرار می‌گیرد. در نهایت، با توجه به تعداد اعضای گروه‌ها، تاثیر کلی اقدام صورت گرفته تعیین می‌شود و یک فاصله اطمینان 95٪ در نظر گرفته می‌شود تا تأیید کند که آیا نتیجه حاصل شده از نظر آماری معنی دار است یا خیر؟

تجزیه و تحلیل آماری به شما امکان می‌دهد تا ارزیابی‌ دقیقی از تأثیر اقدامات را با داده‌های مشاهده‌ای که قبلاً جمع‌آوری کرده‌اید به دست آورید، بدون نیاز به انجام آزمایش‌های زمان‌بر و دست و پا گیر.