سألني واحد من الفريق قبل كم يوم: احنا شركة تعلّم، مالنا وسرعة قواعد البيانات؟
سؤال منطقي. وإجابتي كانت إنو سرعة قاعدة البيانات بتحدد مين المسموح ليهو يسأل.
هذا الأسبوع نزلت DuckDB معاينة لإصدار 2.0. دي قاعدة بيانات تحليلية بتشتغل جوة العملية ذاتها (بلا server، بلا cluster، وبلا تذكرة تفتحها لي زول عشان يجهّز ليك حاجة)، وبترد على سؤال يخص مئات ملايين الصفوف قبل ما ينتهي انتباهك.
زمن الاستجابة هو الميزة الأنا مهتم بيها هنا، قبل أرقام الـ benchmark واتساع لهجة الـ SQL.
بقالة الحي وسوق الجملة
فكّر معاي في بقالة الحي.
بتنزل ليها عشان بصلة واحدة. ما بتخطط، وما بتعمل ليها قائمة، وما بتسأل نفسك هل البصلة ديه تستاهل المشوار ولا لأ. دقيقتين ورجعت.
وسوق الجملة أرخص وأكبر وفيهو كل حاجة، بس ما بتمشي ليهو عشان بصلة. بتمشي ليهو لما تجمّع قائمة كاملة تبرر الأربعين دقيقة.
البقالة بتخليك تشتري الحاجة الانت محتاجها الآن. وسوق الجملة بتخليك تشتري الحاجة الانت قادر تبررها.
الاستعلام بالضبط كده.
لما الاستعلام بياخد يوم كامل، ما بيجريهو إلا الزول الي الاستعلام شغلو. وبيجمّع أسئلتو دفعة واحدة لأن كل سؤال مكلف، وبيسأل الأسئلة الي بقدر يبررها لي زول تاني.
ولما بياخد عشر ثواني، بيجريهو صاحب السؤال نفسو. وبعدين بيجري السؤال التاني.
والسؤال التاني ده هو المفيد دايماً تقريباً، لأن السؤال الأول نادراً ما يكون السؤال الحقيقي. هو الي كنت عارف كيف تسألو قبل ما تشوف أي بيانات.
العتبة الما حد بصمّم ليها
باحثي الواجهات بيوصفوا الحكاية ديه من أربعين سنة، والمؤسسات لسّة بتعيد اكتشافها كل شوية.
تحت الثانية تقريباً، النظام بتحسّو امتداد لتفكيرك. وعند عشر ثواني، بتفضل على المهمة بس بتبطّل استكشاف. وبعد الدقيقة، بتنتقل لي سياق تاني، والسؤال الي كان في راسك بتبخّر مع بقية الـ working memory بتاعتك.
وفي كل درجة بتضيع سلسلة الأسئلة، يعني السؤال التالت والرابع الي ما موجودين إلا لأن التاني فاجأك. وما في زول بيجدول سلسلة استعلامات استكشافية، بتحصل بس طالما الإجابات جاية بسرعة.
ف الأداة الي بتنقل عبء عمل من أربع دقائق لي أربع ثواني بتخلي التحليل أسرع بستين ضعف، وكمان بتفتح صنف من التحليل ما كان بيحصل أصلاً. والأثر التاني ده بس هو البيظهر كقدرة عند المؤسسة.
(أرقام توضيحية. الاستكشاف بينهار قبل ما أي زول يوصف النظام بالبطيء بوقت طويل.)
وشنو علاقة ده بذاكرة المؤسسة
احنا بنقضي معظم وقتنا في التفكير كيف المؤسسات بتحتفظ بالي بتعرفو وكيف بتنقلو. ف النمط ده مألوف عندنا، بس بلبس مختلف.
في خبرتنا، لما الفرق بتفشل في التعلّم، البيانات بتكون موجودة دايماً تقريباً: في الـ warehouse، وفي الـ logs، وفي جدول واحد في مكان ما بصونو زول ببطولة. بتفشل لأن كلفة السؤال عالية بما يكفي عشان ما حد يسأل سؤال عابر.
والسؤال العابر ده هو منبع أغلب الفهم الحقيقي.
القنوات الرسمية (اللوحة، والتقرير الأسبوعي، والمراجعة الفصلية) بترد على أسئلة زول توقّعها سلفاً، وده شغلها وبتعملو كويس. لكن فهم المؤسسة لنفسها بينبني من آلاف الأسئلة الصغيرة الما مخطط ليها: هل ده طبيعي؟ هل كان كده دايماً؟ شنو حصل الأسبوع الفات؟
الأسئلة ديه ما ليها مالك، ولا تذكرة، ولا ميزانية. وما بتنسأل إلا لما السؤال يكون شبه مجاني.
ولذلك احنا متشككين شوية في برامج بناء القدرات الي بتبدأ ببناء مزيد من التقارير. لوحة زيادة بتضيف إجابات لأسئلة متوقّعة، وما بتعمل حاجة للأسئلة غير المتوقّعة، ودي الي بيحصل فيها أغلب التعلّم.
بس فاتورة الحوكمة بتجي
وكل ده ليهو تمن.
التحليل المحلي بينقل الحوكمة للأطراف. لما أي زول يقدر يسحب مجموعة بيانات على لابتوب ويستعلم عنها جوة العملية، أسئلة الحساسية والاشتقاق والمرجعية بتفضل موجودة، وبطء الوصول ومركزيتو ما بقى بيفرضها كأثر جانبي.
وكتير من حوكمة البيانات في المؤسسات الكبيرة عرَضية: بتشتغل لأن المستودع هو الباب الوحيد، وعلى الباب قفل.
شيل نقطة الاختناق ديه، بترث تلات مشاكل مرة واحدة:
المصدرية: زولين بيردوا على نفس السؤال بإجابتين مختلفتين لأنهم سحبوا النسخة في يومين مختلفين، ولا واحد من الرقمين غلط.
الحساسية: بيانات كانت محكومة بحكم صعوبة الوصول ليها بقت قاعدة في مجلد الـ downloads.
المرجعية: «الرقم» بيبطّل يكون موجود لما أي زول يقدر ينتجو، وتتحول الاجتماعات لي خصام حول النسخ.
وديه كلها قابلة للحل لو قررت تحلها عمداً. ونمط الإخفاق إنك تكتشفها بعد تمنتاشر شهر، وترد بإعادة نقطة الاختناق، يعني تستعيد الحوكمة بتدمير الحاجة الي خلّت الأداة ذات قيمة من الأساس.
الي كنا حنعملو
عامل زمن الاستجابة كمقياس قدرة. ما في زول بيرفعو في تقاريرو بالصفة ديه، ولهذا بيفضل غير مرئي.
اختار الخمسة أسئلة الأكتر تكراراً الي فريقك بيسألها عن شغلو هو نفسو. وقيس كم بياخد زول كفء ما مختص بيانات عشان يرد على كل واحد منها من نقطة الصفر.
الرقم ده بحدد إذا كان يحق لمؤسستك تكون فضولية تجاه نفسها، أكتر بكتير من زمن الاستجابة عند المئين 99 في مستودعك.
ولو الإجابة بتتقاس بالأيام، ف عندك مشكلة تعلّم، وزمن الاستجابة هو المكان البتظهر فيهو.
ولو عاوز المسوّغ التصميمي من بناة الأداة نفسهم، المحاضرة ديه أوضح صيغة ليهو:
المصدر: معاينة DuckDB v2.0.
رسالة واحدة مع كل مقال جديد، فيها أبحاث وقرارات منتج وما تبلغنا به الفرق.
