الباحثة. سارة محمد داغر
أ.م. مثنى عبد الكاظم ما شاف
كلية القانون / جامعة ميسان / قسم القانون الخاص
journalofstudies2019@gmail.com
الملخص:
إنَّ من أبرز النتائج المترتبة على التطور العلمي الهائل في المجال التكنولوجي، ضهور الروبوتات الذكية، التي تملك القدرة على التعلُّم والتعامل مع البيئة المحيطة، واتخاذ القرارات الذاتية بمعزل عن مالكها او مستعملها، وذلك بفضل بعض الخوارزميات والبرامج الحاسوبية المتقدمة، وبالتالي القيام ببعض المهام التي تشابه وتحاكي تلك التي تقوم بها الكائنات الحية.، رغم الفائدة المتحققة منها وما تقدمه من رفاهية للإنسان؛ إلا أنّها لا تخلو من المضار التي من الممكن أنْ تسببها للإنسان إذا ما خرجت عن سيطرته وتوجيهه، وبالتالي نكون بحاجة الى تعويض من تضرر من أفعال هذه الروبوتات؛ إلا ان مسألة التعويض هذه وفي اطار التشريعات القانونية ليست بالأمر اليسير على المتضررالذي سيكون في مواجهة اشكالية محددة، فحواها هو تحديد الشخص المسؤول عن الاضرار التي يحدثها الروبوتفهل من العدالة أن يُسأل الروبوت وهو آلةٌ لا شخصيَّة قانونيَّة لها؟ وهل من العدالة ايضاً أن يُسأل المالك وفقاً لنظريَّة تنتمي لعصر الآلات التقليديَّة كما تبدو إقامة المسؤوليَّة على صانع أو مبرمج الروبوت غير منطقيَّة في بعض الحالات؛كما ان القانون المدني الاوربي لعام 2017، قد استحدث نظرية جديدة هي (نظرية النائب الانساني) جعلها اساساً جديداً تقوم عليه مسؤولية الاشخاص عن اضرار الروبوت. فقد اختلف الفقه بشأن إمكانية تمتع الروبوت بالشخصية القانونية بين اتجاهين احدهما ينادي بضرورة منحة الشخصية القانونية والأخر يرفض ومستندين في ذلك الى مجموعه من الحجج المبررات توصلنا في نهاية البحث الى مجموعه النتائج واقترحنا مجموعه من المقترحات.
الكلمات المفتاحية: (إمكانية تمتع الروبوت، الشخصية القانونية).
The extent to which a robot can have legal personality
Sarah Mohammed Dagher
muthanaa eabd alkazim ma shaf
College of Law / Maysan University / Department of Private Law
Abstracts:
One of the most prominent results of the tremendous scientific development in the field of technology is the emergence of smart robots, which have the ability to learn and deal with the surrounding environment, and make independent decisions in isolation from their owner or user, thanks to some advanced computer algorithms and programs, and thus perform some tasks that are similar to It mimics those performed by living organisms. , despite the benefit achieved from it and the well-being it provides to humans; However, it is not devoid of the harms that it can cause to humans if it goes beyond his control and direction, and therefore we need to compensate those who have been harmed by the actions of these robots. However, this issue of compensation and within the framework of legal legislation is not an easy matter for the aggrieved party, who will face a specific problem. Its content is to determine the person responsible for the damage caused by the robot. Is it fair to ask the robot, which is a machine that has no legal personality? Is it also fair for the owner to be questioned according to a theory that belongs to the age of traditional machines, just as placing the responsibility on the maker or programmer of the robot seems illogical in some cases? In addition, the European Civil Code of 2017 introduced a new theory (the theory of the human representative), making it a new basis for the responsibility of people for robot damage. The jurisprudence differed regarding the possibility of robots enjoying legal personality between two directions, one of which calls for the necessity of granting legal personality, and the other refuses, and based on that on a set of justifying arguments, we reached at the end of the research a set of results and proposed a set of proposals.
Keywords: (the possibility of robots enjoying legal personality(.
المقدِّمـــــــــة:
تشهد اغلب دول العالم تقدما سريعا ومذهلا في مجال التكنولوجيا ونتيجة للتقدم العلمي والتكنولوجي بدأت التكنولوجيا تدخل تقريبا في جميع جوانب الحياة اليومية المختلفة ان كل عصر يتميز بسمات وعناصر تختلف عن العصور الذي سبقته والعصور التي ستليه، كما أن العصر الذي نعيشه يسمى بعصر التطور التكنولوجي ولاسيما مع ظهور الروبوت المتطور الذي يمتلك القدرة الكبيرة على محاكاة السلوك البشري فهذه الثورة التكنولوجية المثيرة لابد من مواكبتها بشي من الوعي والمسؤولية، وقد عرف الروبوت المعهد الأمريكي للروبوت انه “مناول يدوي قابل لأعاده البرمجة ومتعدد الوظائف ومصمم لتحريك المواد والاجزاء والادوات او الأجهزة الخاصة من خلال مختلف الحركات المبرمجة بهدف اداء مهمات متنوعة ويهدف بحثنا الى تحديد طبيعة الجهة المسؤولة أمام القانون عن الأضرار التي قد يتسَّبب بها تشغيل “الروبوت” الـمُبرمج وفقاً لتكنولوجيا الذكاء الاصطناعي التي تمنحه قدرة محاكاة العقل البشري، واتِّخاذ القرار الذاتي، ثم تنفيذه على أرض الواقع؛ إذ أنَّ هذه: (الآلة الإنسان) باتت قادرةً على إلحاق الضرر البالغ بالإنسان والممتلكات إنْ هي انفلتت عن نظام برمجتها وتشغيلها الآمن.
وقد وقف فقهاء القانون موقفَ الحيرة والتردُّد ازاء هذا الموضوع، ما قد أوجد إشكاليَّةً عميقةً تتمثَّلُ في تحديد طبيعة الشخص المسؤول عن أفعال الروبوت، فما زال الفقه التقليدي يُكيِّفُ المسؤول عن الروبوت بوصف حارس الأشياء الميكانيكيَّة الخطرة مع افتراض الخطأ وفقاً للقواعد العامة في القانون المدني العراقي، وفي ضوء بحثنا في الموضوع وجدنا انه من الضروري ان نقوم بتحليل نصوص القانون المدني الأوروبي الخاصِّ بالروبوتات الصادر في فبراير 2017، فضلاً عن قواعد القانون المدني المقارن، فقد وجدنا أنَّ المشرع الأوروبي قد اعتمد على نظريَّة: (النائب الإنساني) المسؤول عن تعويض المتضرر بسبب تشغيل الروبوت وعلى هذا الأساس سوف تتناول مقدمةُ موضوع دراستنا وفقاً للفقرات الآتية:
اولاً: اسباب اختيار موضوع الدراسة:
إنَّ اسباب اختيار موضوع هذه الدراسة هو ما يواجهُ الإنسان من مخاطر وأضرار مباشرة وغير مباشرة التي تسببها الروبوتات الذكية هذه الأسباب وجدت الحاجة الملحة إلى أن نتطرق إلى مسألة مدى إمكانية تمتع الروبوت بالشخصية القانونية حتى يمكن مسألته.
ثانياً: مشكلة موضوع الدراسة:
تنحصر مشكلة الدراسة الأساسية في كون موضوعها اقتضى معالجة جانب من مشكلة عامة ومهمة للغاية، هي مشكلة غياب التشريع الذي ينظم أفعال الروبوت، والتي غدت من المشاكل القانونية التي تواجه المختصين ولاسيما في تحديد المسؤولين عن إحداثها إن أمكن مقاضاتهم، في سياق معالجة إشكاليَّة طبيعة الشخص المسؤول عن أفعال الروبوت وقواعد المسؤوليَّة عن تشغيله؛ فليس من العدالة أن يُسأل الروبوت وهو آلةٌ لا شخصيَّة قانونيَّة لها، وبالمقابل ليس من العدالة أن يُسأل المالك وفقاً لنظريَّة تنتمي لعصر الآلات التقليديَّة، وهو لا يُسيطرُ سيطرة الحراسة أو حتى التوجيه والرقابة عليه كما في باقي الأجهزة الميكانيكيَّة أو ذات العناية الخاصَّة التي قصدتها نظريَّة حارس الأشياء.
ومن خلال الإشكالية سوف نتطرق الى طرح مجموعه من الأسئلة القانونية ومنها:
هل بالإمكان مساءلة الروبوت عن الاضرار التي تسببها رغم عدم تمتعها بالشخصية القانونية؟ هل بالإمكان مساءلة مصمم ومصنع الروبوت عن الاضرار التي يسببها الاخير؟
هل يمكن تطبيق فكرة النائب الانساني التي نص عليها القانون المدني الأوربي الخاص بالروبوتات الصادر ۲۰۱۷؟
ثالثا: منهجية موضوع الدراسة:
اعتمدت دراستنا على المنهج التحليلي المقارن، إذ اعتمدنا في بحث هذا الموضوع على المقارنة بين النصوص القانونية في القانون المدني العراقي والمقارن (القانون المدني المصري، مع الاستئناس بالقانون المدني الأوروبي الخاصِّ بالروبوتات الصادر في فبراير 2017.
خامساً: هيكلية موضوع الدراسة:
نسلط الضوء من خلال دراسة (مدى إمكانية تمتع الروبوت بالشخصية القانونيه) في مبحث مقسم الى مطلبين وبعد ذلك نتوصل الى النتائج ونقترح بعض التوصيات
المبحث الاول
مدى امكانية تمتع الروبوت بالشخصية القانونية
يناقش هذا المبحث مدى امكانية تمتع الروبوت الشخصية القانونية(
[1])حيث كانت القاعدة في الماضي توجه خطاباتها الى الشخص الطبيعي (الانسان) فقط، الا انه وبعد ظهور حقائق الحياة الاجتماعية الجديدة، وحصول تطورات كبيرة في الانظمة القانونية واتساع نشاط الدول والافراد، وعجز الانسان عن القيام ببعض الاعمال والمهمات نظرا لإمكانياته المحدودة، وان تلك الاعمال قد يتطلب تحقيقها زمنا طويلا، قد يجاوز عمر الانسان، لذلك دعت الحاجة الى ضرورة الاعتراف بشخصية قانونية اخرى غير الشخصية الطبيعية، ومنها ظهرت فكرة الشخصية المعنوية، حيث صنف الاشخاص في دائرة القانون الى اشخاص طبيعية واشخاص اعتبارية ويعتبر الشخص الطبيعي هو الانسان القادر على اكتساب الحقوق وتحمل الالتزامات، اما الاشخاص الاعتبارية فيعرفها غالبية الفقه بأنها “مجموعه من الأشخاص والأموال له كيان ذاتي مستقل، لتحقيق غرض معين، ومعترف له بالشخصية القانونية المقررة للإنسان الا ما كان منها متصلا بصفته الطبيعية، وذلك لإضفاء الصفة الشرعية اللازمة على تصرفاتها في حدود هذا الغرض”([2]) وعرفت ايضاً بأنها “مجموعة من الأشخاص أو الأموال لتحقيق غرض معين”([3]).
كما ورد في المادة (47/2) من القانون المدني العراقي رقم (40) لسنة 1951، على ان الشخص المعنوي هو “كل مجموعة من الاشخاص او الاموال، يمنحها القانون شخصية معنوية”([4])، والشخص الاعتباري يعتبر كيان له شخصية مستقلة وذمة مالية وتتحمل الالتزامات وحدها دون مؤسسيها، بما ان الروبوت ليس مجرد الة، بل انه آلة صنعت لتقليد البشر بصورة افضل مما ساهم في تطور الروبوتات في جميع مجالات الحياة، الا ان الاطار القانوني الخاص بها يحتاج الى تدخل تشريعي([5])، من اجل تجنب بعض المشاكل الصعبة او الصادمة ولاسيما فيما يتعلق بالمسؤولية.
حيث انه يلزم ان تكون هنالك توعية ضرورية بالاعتراف بأن للروبوت عددا من الحقوق والالتزامات، ومن هنا يثار التساؤل هل يتمتع الروبوت بشخصية قانونية في الوقت الحالي، كما هو عليه بالنسبة للشخص الطبيعي والشخص الاعتباري؟
وللإجابة عن هذا التساؤل فأننا سوف نتحدث عن اختلافات الفقه القانوني في هذا المجال حيث ظهرت عدة اتجاهات ما بين منادي بضرورة منح الشخصية القانونية للروبوت وبين معارض، مستندين في آرائهم الى مجموعة من الحجج والأسانيد وفي ضوء ما تقدم سوف نتعرض لتلك الاتجاهات من خلال الفقرتين الاتيتين: –
المطلب الاول/ الاتجاه المؤيد لمنح الروبوت الشخصية القانونية
ذهب انصار هذا الاتجاه([6]) الى امكانية اعتبار الروبوت من قبيل الاشخاص وبالتحديد الاشخاص الاعتبارية، ومن ثم منحها ذات الشخصية القانونية الممنوحة للشخص الاعتباري باعتبار ان الروبوت يعتبر من قبيل الكيان، شأنه في ذلك شأن الشركات والجمعيات والهيئات([7]).
ويقدم انصار هذا الاتجاه بعض الحجج القانونية التي تمهـد لأنظمة الذكاء الاصطناعي الاعتراف بالشخصية أمام القانون ومن هذه الحجج هي: –
الحجة الأول:في ظل عدم وجود شخص يمكـن إسـناد المسؤولية القانونية له أو يمكن مقاضاته – سواء مدنياً أو جنائياً عند وقوع فعـل مخالف للقانون، وخاصة مع وجود روبوتات متطورة تستطيع القيام بأفعال من تلقاء نفسها، فالروبوت على الرغم من وجوده في جميع أنحاء العالم إلا أنه لا يخضع لأي ولاية قضائية ([8]).
الحجة الثانية: في حالة قيام نظام الذكاء الاصطناعي بـاختراع أو ابتكار أثناء تشغيله، فلابد إن وجود شخص يستفيد من حقـوق الملكيـة الفكرية التي أنشأها نظام الذكاء الاصطناعي، سيما وإن أنظمـة وبـرامج الذكاء الاصطناعي المزودة بتقنية التعلم الآلي قادرة على الابتكار من تلقاء نفسها وإيجاد حلول عملية لم تكن موجودة من قبل ([9]).
الحجة الثالثة:يشير البعض الى سبب ثالث وهو إنه قد يبدو بديهيا أن الآلة لا يمكن أبدا أن تكون شخصا طبيعيا، ولكـن مـن المحتمـل فـي المستقبل أن الروبوتات يمكن أن تتساوي مع البـشـر مـن ناحية التفكير والتصرفات، وهذا يدعو للتفكير في الشخـصية القانونيـة بمجرد تحقق المساواة في الـذكاء والتصرفات بـين الانسان والآلة. وعلى الرغم من أن الذكاء الاصطناعي لا يزال خيال علميا في الوقت الحاضر، لكن لا يوجد سـبب لافتـراض أن تطـورات الـذكاء الاصطناعي ستتوقف عند هذا الحد، بل من الممكن – في المستقبل -إن تتفوق على الانسان ذكاء وأفعالاً ويدعم هذا الرأي حجته بأنه في عام 2017 منحت المملكـة العربيـة السعودية “الجنسية” للروبوت صوفيا Sophia، وصوفيا، علـى سبيل المثال، هي في الأساس روبوت محادثة ذو وجه. وفي العام نفسه، يدعو البرلمان الأوروبي إلى النظر في إنشاء وضع قانوني محدد للإنسان الآلـي -الروبـوت – علـى المـدى الطويل، بحيث يمكن على الأقل إثبات أن الروبوتـات المـستقلة الأكثـر تطوراً تتمتع بوضع الأشخاص الإلكترونيين المسؤولين عـن إصـلاح أي ضرر قد يتسببون فيه، وربما تطبيق الشخصية الإلكترونية على الحالات التي تتخذ فيها الروبوتات قرارات مستقلة أو تتفاعل بطريقة أخـرى مـع طرف ثالث بشكل مستقل([10]).
واستناداً إلى تاريخ الشركات والأشخاص الاعتباريين، لا يبدو أن هناك شكا في أن معظم الأنظمة القانونية يمكن أن تمنح أنظمة الذكاء الاصطناعي شكلاً من الشخصية، وسيكون من الممكن، إنشاء أشخاص قانونيين يمكـن مقارنتهم بالشركات حيث يمكن منح الشخصية القانونية للسيارة الآليـة ذاتيـة القيادة، أو جهاز طبي ذكي، أو انسان آلي يعمل في مصنع، وما إلى ذلك.
الحجة الرابعة:إن الخـوف مـن ارتكـاب أنظمـة وآلات الـذكاء الاصطناعي أي فعل مخالف للقانون أو يشكل جريمة يمكن التغلب عليـه عن طريق برمجة كيان الذكاء الاصطناعي بوضع ضـوابط لأخلاقيـات كيان الذكاء الاصطناعي حيث، اعتبر العديد من مؤلفي الخيال العلمي فكرة أنه في يـوم مـن الأيام يمكن للآلات الذكية أن تكون متفوقة جسديا وعقليا على البشر فـي المستقبل([11])، وغالبا ما يتساءل هؤلاء المؤلفون أيضا عما يمكن أن يحدث إذا قررت هذه الكائنات الآلية المزودة بتقنية الذكاء الاصطناعي أن البشر غير ضروريين ويجب التخلص منهم([12]).
مما لا شك فيه ان الاعتراف بالشخصية القانونية للروبوتات، له اهمية كبيرة من اجل تحديد نظام المسؤولية التي سوف يطبق في حالة وقوع ضرر مادي، ناشئ عن الروبوت حيث يتمتع جميع الاشخاص بالشخصية القانونية، منذ ولادتهم حتى وفاتهم ([13])، ويرى جانب اخر من المؤيدين ان الاعتراف بالشخصية القانونية للروبوت يمكن الغير من القاء المسؤولية علية، لتعويض الاضرار التي قد يسببها الروبوت، وبما ان هذا الاخير مستقل ويتمتع بالذكاء الاصطناعي إذا هو شخص مسؤول عن كل افعاله لذلك من الضروري الاعتراف له بالشخصية القانونية.
وأيد هذا الرأي البرلمان الاوربي في قرار له صادر بتاريخ في 16 فبراير 2017 بمنح الروبوت الاكثر تطورا وتقدما والذي يتبنى قرارات مستقله، او يتعامل مع الغير بصورة مستقلة الشخصية القانونية، وهذا الاعتراف يجعله مسؤولاً عن تصرفاته والاضرار الناتجة عنها وبدل من تحميل صانعه او المالك تلك المسؤولية، فتقع تلك المسؤولية على الروبوت نفسه([14]).
باستقراء ما انتهى إليه البرلمان الأوروبي من توصيات ومبادئ توجيهية تتعلق بوضع، قواعد وأحكام تنظم عمل الروبوتات، نجد أنه قد انتهى إلى التوصية بالاعتراف بشخصية قانونية إلكترونية أو رقمية للروبوتات الذكية، والتي تتمتع باستقلالية وحرية في اتخاذ القرارات، وكذلك إنشاء سجل خاص بالروبوتات الذكية، تسجل فيه جميع المعلومات المتعلقة بكل روبوت، وأيضا إقرار نظام خاص للتأمين ضد مخاطر الروبوتات، وكذلك صعوبة تطبيق القواعد العامة للمسؤولية بوضعها الحالي على الأضرار التي تقع بسبب الروبوتات أو أنظمة الذكاء الاصطناعي، الأمر الذي يثير قدرا ليس بالهين من الشك والريبة حول مدى إمكانية استحداث شخصية قانونية للروبوتات الذكية، على غرار الشخصية القانونية الممنوحة للشخص الطبيعي والشخص الاعتباري، وما سيتطلب ذلك من استحداث نظام قانوني خاص يحكم المسؤولية المدنية عن الأضرار التي تسببها أنظمة الذكاء الاصطناعي بوجه عام، ومنها الروبوتات الذكية([15]).
وأرى أنه يصعب تطبيق ما تقدم ذكره من تصور على الأقل في الوقت الحالي، نظرا لأن انتشار الروبوتات الذكية في الوقت الحالي لم يصل بعد إلى الدرجة التي تفرض على المشرع أن يتدخل باستحداث نصوص قانونية خاصة تنظم عملها وأحكام التعويض عن الأضرار التي يمكن أن تسببها للغير، وإن كان من الممكن، وفي الوقت جميع الحلول القانونية الممكنة، وإنشاء وضع قانوني محدد للروبوتات على المدى الطويل، حتى يمكن إثبات أن الروبوتات المستقلة الأكثر تعقيدا على الأقل لها وضع الأشخاص الإلكترونيين المسؤولين عن إحداث أي ضرر قد يتسببون فيه، وربما تطبق الشخصية الإلكترونية على الحالات التي تتخذ فيها الروبوتات قرارات مستقلة تتفاعل مع طرف ثالث بشكل مستقل.
اما في الوقت الحالي، فنرى ضرورة الإبقاء على إدخال هذه الروبوتات، تقليدية كانت أم ذكية، داخل عباءة الأشياء في القانون، وتحديدا الأشياء المنقولة، في انتظار ما سيسفر عن الواقع العملي في المستقبل من زيادة الأدوار التي تقوم بها الروبوتات الذكية في مختلف مجالات الحياة، وطبيعة تلك الأدوار.
وخير مثال على ذلك ما حدث في “قضيةS.U. v Klein In التي تتلخص وقائعها في قيام الطيار بوضع الطائرة على الطيار الآلي أثناء الهبوط على الرغم من تحذير اللوائح من استخدامه في ذلك. مما أدى إلى إلحاق ضرر جسيم بالطائرة بسبب الهبوط السيء من قبل الطيار الآلي. فعلى الرغم من وجود خطأ من جانب الطيار الآلي الا أن الطيار كان وراء هذا الخطأ، وبالتالي عن الاضرار التي لحقت بالطائرة”([16]).
فقد تم الأخذ بوجهة النظر المتقدمة في ولاية نيفادا الأمريكية بصورة جزئية؛ حث تم الاعتراف للروبوتات ببعض سلطات الشخص المعنوي أو الاعتباري بصورة ضمنية؛ وقد تم إخضاع الإجراءات القيد في سجل خاص([17])، الذي تم انشاؤه خصيصا الغرض وتم تخصيص له ذمة مالية مستقلة من اجل التأمين علبها، وجعلها تستجاب لدعاوى التعويض التي تُرفع ضدها بسبب ما تسببه من أضرار بحق الغبر في محبطها الخارجي([18]).
ونستنتج مما تقدم أن الغرض من الاعتراف بالشخصية القانونية لروبوتات الذكية هو التوصل إلى تحديد هوية الشخص المسؤول عن الضرر التي تسبب فيها تلك الروبوتات. فالاعتراف لروبوتات الذكية بالحقوق، يحميها من اعتداء الغير، كما أن تحمله للالتزامات الناجمة عن أفعاله سيحمي الأشخاص الاخرين من أي ضرر ينجم عن أفعاله.
المطلب الثاني/ الاتجاه المعارض لمنح الروبوت الشخصية القانونية
يذهب أنصار هذا الاتجاه([19])الى رفض فكرة منح الروبوتات الشخصية القانونية ويستدلون في ذلك بعدد من الحجج والاسانيد القانونية الاتية: –
الحجة الأولى: إن المعنى القانوني للشخصية هـو موضـوع يتعلـق باكتساب الحقوق والتزام بواجبات قانونيـة، وبالتـالي، فـإن الشخـصية الاعتبارية لأنظمة الذكاء الاصطناعي ومنها الروبوتات، من حيـث المبـدأ، هـي مـسألة استحقاق الحقوق والواجبات، وعلى الرغم من وجود الأدلة علـى كفـاءة الروبوت في مختلف المجالات، إلا إن هناك تأكيد علـى ان الروبوت غير قادرة علـى تحمـل المـسؤولية عـن الخسارة أو الضرر الذي تسببت فيها أثناء تنفيذ واجباتها. وعلاوة على ذلك، فإن أنظمة الروبوتات، مهمـا كـانـت متقدمة وتمتلك نظاما معقد لاتخاذ القرار، فهي غير قادرة علـى إصـدار القرارات المناسبة أو ممارسة السلطة التقديرية بمـا يتفـق مـع تغييـر الظروف والأحوال في موضوع معين([20]).
الحجة الثانية: هناك أيضا اعتراض على منح الروبوت حقوقـا قانونية ودستورية، ويستند هذا الاعتـراض إلـى فكـرة أن الأشخاص الطبيعيين وحدهم هم الذين يحق لهم الحصول على هذا الحق، وذلـك لأن الروبوتات تفتقد إلي بعض العناصر الأساسية للشخـصية مثل النفس والوعي والنية والمشاعر والأحاسيس والأخلاق والإيمان([21]).
الحجة الثالثة: تقوم هذه الحجة على أنه من الخطأ تصور أن الروبوت، يعتبر خلق بشري، بل ينبغي أن تظل مجرد خاصية، وذلك لأن أساس الذكاء الاصطناعي قائم على الخوارزميات والمعـادلات الرياضية والعمليات الحسابية (computation)([22])، وبالتالي يجـب أن يظـل الذكاء الاصطناعي مجرد برنامج يعمل على جهاز كمبيوتر.
الحجة الرابعة: وتقوم هذه الحجة على إن أهم ما يميـز البـشـر هـو قدرتهم على فهم القواعد القانونية التي تحكم المجتمع وكذلك نية الامتثـال لتلك القواعد، إلى جانب القدرة على الشعور بالعواطف، فالإنسان يفهـم ويفسر ويطبق القواعد القانونية في مواقف دقيقة من الحياة اليومية، والتي أمور لا يمكن أن تقوم بها أنظمة الذكاء الاصطناعي أو الروبوتات ([23]). وبالتالي فإن الحقوق والالتزامـات المرتبطـة بـامتلاك الشخـصية القانونية تنشأ من هوية الناس وكيفية تنظيم العلاقات الاجتماعية بينهم.
وينتهي هذا الاتجاه إلى أنه حتى الآن لا يوجد مبرر لمـنـح الشخـصية القانونية لأنظمة الذكاء الاصطناعي أو الانسان الآلي، الروبوتات، كـذلك لا، يوجد أي ضرورة لمنحها الحق في الملكية أو الحـق فـي إبـرام العقـود أو الالتزام بإداء الضرائب، بل يجب إن تعامل كمنتج في سياق المسؤولية عـن الإصابات التي تسببها، ويطبق في شأنها قواعد المسؤولية عن عيوب المنتج([24]).
انه إذا كانت الشخصية القانونية ترتبط بالمسؤولية في الانسان، فإن ذلك الامر مختلف في الروبوتات، لأنه من الصعب الفصل بين العنصر المعنوي المتمثل بالعقل في المسؤولية القانونية عن العنصر المادي الذي يمثل الانسان في المسؤولية المدنية العادية بعكس في الروبوتات فأن الامر بسيط وممكن حيث يمكن فصل العنصر المعنوي محرك الروبوت عن حامله المادي بأي شكل كان وهو الامر الذي يخشى عليه من انحدار مفهوم الشخصية القانونية([25]).
ويرى هذا الاتجاه بأن الروبوت سيبقى مجرد اشياء من ناحية التوصيف القانوني، ويتم حل المشاكل التي تحدث نتيجة الاضرار التي يسببها الروبوت من خلال نظام التأمين الالزامي عن كل حوادث الروبوتات، والقيام بأنشاء صناديق خاصة تغطي كافة الاضرار كنظام مكمل للتأمينات اذا لم يوجد غطاء تأميني ([26]).
يتجه الرأي الغالب في الوقت الحاضر في فرنسا، ايضا إلى رفض مثل هذه الفكرة فيعتبرها المكتب البرلماني الفرنسي، لتقييم الخيارات العلمية والتكنولوجية خطوة غير مبررة ومبكرة. ويرى أيضا مجلس الدولة الفرنسي أنه ليس من الضروري، في الوضع الحالي للتطور التكنولوجي، منحه الشخصية القانونية للروبوتات([27]).
ويرى هذا الاتجاه ايضا ان اساس الاعتراف بالشخصية القانونية للشخص الاعتباري انما وجد من لحظة تكوين الشركات او الجمعيات، أي بمعنى انه بمجرد تكوين الشخص الاعتباري تنشأ له مصلحة مختلفة عن مصالح من قاموا بأنشائه ، و يتجلى ذلك بشكل خاص فيما يتعلق بشروط اقامة المسؤولية الجنائية على الشخص الاعتباري فقد قضت المادة (١٢١-٢) من قانون العقوبات الفرنسي، على أن “الأشخاص الاعتباريون باستثناء الدولة، مسؤولون جنائيا” وما جاءت به المواد (121/4، 121/7) عن الجرائم المرتكبة بالنيابة عنهم، من قبل أجهزته أو ممثليهم…”، ومع كل ذلك غير ضروري مثل هذا التمييز بين مصالح الروبوت ومصالح مالكيه أو مستخدميه، لان الروبوت بحكم صناعته لا يتصرف وفق مصلحته الخاصة وانما لصالح الاخرين، وهذا الامر يؤكد على ان الاعتراف بمنح الروبوت الذكي الشخصية القانونية لا يكون متوافق مع الشخص الاعتباري([28])، ويتضح مما سبق أن الاعتراف بمنح الشخصية القانونية لروبوتات على غرار الشخص الطبيعي يعتبر ذلك اعتداء على حقوق الانسان الطبيعي، فضلا ان الاعتراف بالحقوق والالتزامات. كما أنه من غير الممكن منح تلك الشخصية لروبوتات كشخص اعتباري، وذلك لان الشخص الاعتباري تكون له ذمة مالية مستقلة، ويتم إدارتها من قبل أشخاص طبيعيين([29]).
ويترتب على منح الروبوتات الشخصية القانونية الخاصة التي اقرتها قواعد القانون الأوروبي للروبوتات مستقبلاً، لها عدة مخاطر لعل من أهمهما ([30]):
1 -إن القبول بوجود الروبوتات فبما بيننا، أمر لم تتعرض له فلسفة القانون في كامل المنظومة التشريعية من الدستور إلى التشريعات، طالما أن المشرع التقليدي ما زال معتبر أي شيء تكنولوجي مهما بلغ تطوره يبقى على انه مجرد شيء ولذلك فان الحديث عن منح الروبوتات الشخصية القانونية، له عبث قانوني.
2-ان فكرة المسؤولية من الناحية القانونية تقوم على اساس قدرة الشخص على محاكمته للأمور محاكمة عقلية، يتبين من خلالها ما هو قانوني من عدمه، حيث ان الشخص يكون مسؤولاً عن افعاله عندما يرتكب فعل يحاسب عليه القانون، ويترتب عليها ضرراً للأخرين، فلا مسؤولية إلا بالإدراك المنسوب إلى شخص معيين، وهدا الادراك غير موجود لدى الروبوتات.
3-إن الاعتراف بمنح الروبوتات الشخصية القانونية، سوف يؤدي إلى خلق مجتمع آخر غير بشري، يكون له حقوق وواجبات، وقد ينحرف هذا المجتمع البشري عن سلطة القانون، وقد يرفض تنفيذ قواعده، وبالتالي من يضمن ان خضوع الروبوتات المستقلة للسلطة التنفيذية البشرية، بعد، أن أقر لها القانون بنفسه هذه الحقوق.
كما ان الفقه المعارض يرى ان منح الشخصية القانونية للروبوتات سيؤدي الى منع التفرقة والتمييز بين الانسان والأشياء القانونية، وان هذا الاعتراف ستكون له عواقب وخيمة لأنه سوف يمنع من قيام المسؤولية على الأشخاص المحتملين الدي يجب ان تقع عليهم كالمالك او حتى المستخدم، مما يفيد دلك هو زيادة الاضرار التي قد تسببها الروبوتات([31])، وبالتالي سوف تكون الروبوتات أكثر خطورة، وتكون الشركات اقل دقة في تصنيعها؛ لأن استبعاد أو تقليل مسؤولية سيجعل هؤلاء لا يلتزمون بالدقة في تصنيع الروبوتات([32]).
اما النظرية المقترحة لحل إشكالية الشخصية القانونية للروبوتات تسمى (نظرية الحزمة للشخصية القانونية)
اقترح البرلمان الأوروبي في بيانه الصادر بتاريخ ١٦ شباط ۲۰۱۷؛ خلق شخصية قانونية خاصة بالروبوتات المستقلين الأكثر تطوراً، استخدم فيه عبارة شخصية إلكترونية، وارتكز هذا الاقتراح على أساس المنفعة المرتقبة، لا سيما في مجال المسؤولية المدنية، بحيث يتحمل الروبوتات المستقلين الأكثر تطوراً بنفسهم التعويض عن الأضرار التي يتسببون بها ([33]).
ما يفترض أن نظاماً قانونياً يلقي التبعة على الشخصية الاصطناعية مباشرة سوف يكون أكثر فعالية في معالجة الحالات المستجدة، بالإضافة إلى افتراض ضعف القانون الحالي بمواجهة تلك الأضرار المستجدة.
إلا أن هذان الافتراضان يبقيان دون أي أساس، لأن الأنظمة الحالية للمسؤولية قادرة على التكيف ويمكن أيضاً الاستعانة بأحكام القوانين الخاصة كقانون حماية المستهلك لتأسيس التعويض عن الأضرار الناتجة عن المنتجات الذكية.
قد يبدو منح الشخصية القانونية بمعنى اكتساب الحقـوق والالتـزام بالواجبات لجماد أو برنامج كمبيوتر يعمل بشكل مستقل عن مصممه أمرا غريبا بل قد يكون ضرباً من الخيال العلمي فلا يمكن منح الشخصية الطبيعية للروبوت لأنـه لـيس انسان، كذلك الحال بالنسبة للشخصية الاعتبارية فلا يستطيع الحـصول عليها لأنه ليس شركة تجارية.
وانطلاقاً مــــن ذلك ذهـــب جانب من الفقه إلــى وضع نظريـة الحزمـة للشخصية القانونية (the Bundle Theory of legal personhood)، أو نظرية الباقة للشخصية القانونية([34]) ومضمون هذه النظرية إنشاء شخصية ثالثة تكون وسط بين الشخص الطبيعي والشخص الاعتباري، ويكون لهذه الشخصية باقة – أو حزمة – من الخصائص التي تتفق مع كونها آلة مزودة بتقنية الذكاء الاصطناعي أو برنامج كمبيوتر، فيكون لها بعض حقوق الشخص الطبيعي والاعتباري وكذلك بعض التزامات كل منهما، وتختلف هذه الحقوق والواجبات حسب طبيعة ومكان عمل أنظمة الذكاء الاصطناعي، كالروبوتـات والـسيارات ذاتية القيادة وبرامج الكمبيوتر، وغير ذلك وبعبارة أخرى يتم منح قدر معين من الحقوق والالتزامات القانونيـة بما يتناسب مع شخصية الذكاء الاصطناعي وطبيعة عمله بيئة تشغيله وتهدف هذه النظرية إلى منح الروبوتات مـا يـسمي “بالشخصية الإلكترونية” (Electronic)([35]).
الخاتمة:
توصلنا في نهاية البحث الى مجموعه من النتائج ونقترح بعض التوصيات
اولاً_النتائج
1-لمْ يتفقْ الفقه القانوني على منح الشخصية القانونية “للروبوت”؛ وسبب ذلك هو ان القاعدة العامة في منح الشخصية القانونية هي القدرة على اكتساب الحقوق وتحمل الالتزامات، وفي ضوء تلك القاعدة لا يمكن ان يعترف للروبوت بالشخصية القانونية لعدم اهلية الروبوت – في الوقت الراهن -على اكتساب الحقوق وتحمل الالتزامات، وأن ذلك لا يكون إلا بعد ان يستقل الروبوت استقلالاً تاماً عن الانسان في اتخاذ القرارات.
2-كما أنَّ التشريعات لم تتناول الذكاء الاصطناعي بالتشريع، ولذلك فهي لم تمنح الشخصية القانونية إلا (للشخص الطبيعي) و (الشخصية المعنوية)، اما التوجه الاوربي فقد سلك اتجاهاً مغايراً في القانون المدني الخاص بالروبوتات لعام 2017، فهو لم يمنح الشخصية القانونية للروبوت بشكل تام، وإن كان قد خطى خطوات اولى وبدايات نحو منح شخصية قانونية افتراضية للروبوتات؛ وذلك لان هذه الروبوتات لم ترقَ بعدُ الى الاستقلال بشكل تام في اتخاذها القرارات بمعزل عن الانسان، بل انها لازالت تخضع بعض الشيء في تصرفاتها لإرادة المشغل او المالك، رغم ذكائها الذي لا يخفى، وتعاملها مع الظروف المحيطة بها.
3-إنَّ منح الشخصية القانونية للروبوت كان محل جدل ونقاش الفقه القانوني الاوربي قائماً على نظرة فلسفية وتصور خاص، يختلف تماماً عن الواقع العملي فيما يتعلق بالقواعد القانونية العامة للمسؤولية المدنية التي تحكم افعال وتصرفات الشخص الطبيعي؛ وسبب ذلك لأننا نعيش في مرحلة انتقالية، هي ايجاد المبررات المنطقية التي نستطيع عن طريقها منح الروبوت الشخصية القانونية، لكي نتمكن من وضع قواعد قانونية تسمح لنا بمحاسبته مستقلاً عن الانسان.
ثانياً_المقترحات
1- نوصي بتكثيف الجهود العلمية في البحث المتخصص وعقد المؤتمرات العلمية حول الروبوتات التي تعمل بتقنية الذكاء الاصطناعي، وذلك لدراسة كافة الجوانب المتعلقة بهذه الروبوتات، وأهمها الجانب القانوني، نظرًا لحداثة هذه الروبوتات، وعلى وجه الخصوص مسألة منح الشخصية القانونية للروبوتات، وكذلك من المسؤول عن الضرر الذي تسببه الروبوتات التي تعمل بتقنية الذكاء الاصطناعي.
2- صياغة تشريعات خاصة في المستقبل للروبوتات التي تعمل بتقنية الذكاء الاصطناعي، مع مراعاة تصنيف الروبوتات التي تعمل بتقنية الذكاء الاصطناعي، وتحديد مسؤولية كل من الصانع والمستخدم عن الأضرار التي تلحق بالآخرين بسبب تصرفات هذا الروبوت.
الهوامش:
([1])الشخصية القانونية بالمعنى العام هي صفة تمتزج بالموصـوف ولا تنفصل عنه، فكلما وجد شخص في نظر القانون وجدت معه شخـصيته، وهـي تلازمه منذ ولادته حتى مماته، لكن هذه الشخصية قد تكون كاملـة فـي بعض الأحيان، وقد لا تكون كذلك في بعضها الآخر، وقد تكـون حقيقيـة مادية ملموسة، وقد تكون غير حقيقية وغير مادية، كمـا فـي الـشخص الاعتباري. ولا يمكن تصور الحق إلا منسوباً إلى شـخص مـن الأشخاص. وهو ما يسمي بالشخص القانوني، ويقصد بالشخصية القانونية صـلاحية اكتساب الحقوق وتحمل الالتزامات ولا يؤثر انعـدام التمييـز أو نقـصـه فيها ووفقاً للقانون والفقه التقليدي فإن الشخصية القانونية تمـنح للإنـسان والشركات التجارية، لكن الفقه الحديث كان له رأي أخر حيث يري أنه لا مانع من منح الشخصية القانونية للحيوان والانسان الآلي المـزود بتقنيـة الذكاء الاصطناعي د خالد ممدوح ابراهيم، التنظيم القانوني للذكاء الاصطناعي، دار الفكر الجامعي، الإسكندرية، 2022، ص121.
([2])د. خالد ممدوح ابراهيم، المرجع السابق، ص121.
([3])د. مجدي حسن خليل، د. الشهابي ابراهيم الشرقاوي، المدخل لدراسة القانون (نظرية القانون ونظرية الحق)، النهضة العلمية للنشر والتوزيع، الاردن، 2013، ص 307، ينظر ايضا د. موسى رزيق، مدخل الى دراسة القانون، مطبوعات الجامعية جامعة الشارقة، الشارقة، 2006، ص 209.
([4])وكذلك المادة (92) من قانون المعاملات المدنية الاتحادي رقم (5) لسنة 1985على ان الشخص الاعتباري “كل مجموعة من الاشخاص او الاموال التي تثبت لها الشخص الاعتباري بمقتضى نص في القانون”. وايضا المادة (52) من القانون المدني المصري رقم 131 لسنة 1948 حددت الاشخاص الاعتبارية وهي: –
1-الدولة والمحافظات والبلديات بالشروط التي يحددها القانون والمؤسسات العامة وغيرها من المنشئات التي يمنحها القانون شخصية اعتبارية
2-الهيئات والطوائف الدينية التي تعترف لها الدولة بشخصية اعتبارية
3-الاوقاف
4-الشركات التجارية والمدنية
5-الجمعيات والمؤسسات المنشاة وفقا للأحكام النافذة
6-كل مجموعه من الاشخاص او الاموال تثبت لها الشخصية الاعتبارية بمقتضى القوانين النافذة.
([5])Alain Bensoussan, Droids robotsiscience_Fiction Ou anticipation?, p 30 Juliet 2015. n28، p1640.
([6])د. محمد ربيع انور فتح الباب، الطبيعة القانونية للمسؤولية المدنية عن اضرار الروبوتات” دراسة تحليلية مقارنة”، بحث مقدم في المؤتمر الدولي السنوي العشرين كلية الحقوق، جامعة المنصورة، 2021، ص 130.
([7])د. محمد ربيع انور فتح الباب، المرجع السابق ص 131.
([8])خالد ممدوح ابراهيم، التنظيم القانوني للذكاء الاصطناعي، المرجع السابق، ص 132.
([9])د. محمد عرفان الخطيب، المسؤولية المدنية والذكاء الاصطناعي، مجلة كلية القانون الكويتية العالمية، السنة الثامنة، العدد1، 2020، ص77.
([10])خالد ممدوح ابراهيم، التنظيم القانوني للذكاء الاصطناعي، المرجع السابق، ص130.
([11]) المرجع نفسه، ص131.
([12]) د. محمد عرفان الخطيب، المرجع السابق، ص78.
([13])د. حمد احمد المهداوي عبد ربه مجاهد، المسؤولية المدنية عن الروبوتات ذات الذكاء الاصطناعي “دراسة مقارنة”، المرجع السابق، ص304.
([14])د. محمد عبد اللطيف، المسؤولية عن الذكاء الاصطناعي بين القانون الخاص والقانون العام، بحث مقدم الى مؤتمر الجوانب القانونية والاقتصادية للذكاء الاصطناعي وتكنولوجيا المعلومات، جامعة المنصورة، 23_24مايو2021، ص5.
([15])د. محمد ربيع انور فتح الباب، المرجع السابق، ص123.
([16])عبد الرزاق محمد وهبة سيد احمد، المسؤولية المدنية عن اضرار الذكاء الاصطناعي، مجلة جيل الابحاث القانونية المعمقة، العدد43، 2020، ص19.
([17])عبد الرزاق محمد وهبة سيد احمد، المرجع نفسه، ص20.
([18])د. احمد علي حسن عثمان، انعكاسات الذكاء الاصطناعي على القانون المدني “دراسة مقارنة”، مجلة البحوث القانونية والاقتصادية، مجلد 76، 2021، ص 1559.
([19])شريف محمد غنام، دور الوكيل الالكتروني في التجارة الالكترونية، دراسة في ضوء احكام اتفاقية الامم المتحدة المتعلقة باستخدام الخطابات الالكترونية في العقود الدولية 2005، بحث منشور في مجلة كلية الحقوق للبحوث القانونية الاقتصادية، محكمة، دون مجلد، ع2، جامعة الاسكندرية، مصر، 2010، ص716.
([20])رجب كريم عبد اللاه، المدخل للعلوم القانونية، نظرية الحق، الجزء الثاني، دون طبعة، دار الكتب المصرية، مصر، 2016، ص172.
([21])خالد ممدوح ابراهيم، المرجع السابق، ص132.
([22])احمد حبيب بلال، عبد الله موسى، المرجع السابق، ص 109.
([23])عبد الرزاق وهبه سيد احمد محمد، المرجع السابق، ص18.
([24])ايناس مكي عبد نصار، الثغرات القانونية في المسئولية المدنية الناشئة عن اضرار الاجهزة الالكترونية “دراسة مقارنة”، مجلة القانون للدراسات والبحوث القانونية، عدد22، 2021، ص 164.
([25])د. محمد عرفان الخطيب، المرجع السابق، ص121.
([26])د. عبد الله سعيد عبدالله الوالي، المسؤولية المدنية عن اضرار تطبيقات الذكاء الاصطناعي في القانون الاماراتي، ط1، دار النهضة العربية، مصر، 2021، 262.
([27])كريستيان يوسف، المسؤولية المدنية عن فعل الذكاء الاصطناعي، رسالة مقدمة لجامعة اللبنانية كلية الحقوق والعلوم السياسية، لبنان، 2020، ص31.
([28])د. مها رمضان محمد بطيخ، المسؤولية المدنية عن اضرار الذكاء الاصطناعي، المجلة القانونية، ص 1551.
([29])عبد الرزاق محمد وهبة سيد احمد، المصدر السابق، ص19.
([30])د. حسن محمد عمر الحمروي، اساس المسؤولية المدنية عن الروبوتات بين القواعد التقليدية والاتجاه الحديث، مجلة كلية الشريعة والقانون، ج4، العدد23، 2021، ص3091.
([31])د. محمد احمد مجاهد المع داوي عبد ربه مجاهد، المسؤولية المدنية عن الروبوتات ذات الذكاء الاصطناعي، المرجع السابق، ص310.
([32])محمد ربيع انور فتح الباب، الطبيعة القانونية للمسؤولية المدنية عن اضرار الروبوتات “دراسة تحليلية، مجلة البحوث القانونية والاقتصادية، عدد خاص، 2021، ص70.
([33])كريستيان يوسف، المسؤولية المدنية عن فعل الذكاء الاصطناعي، مصدر سبق ذكره، ص 26.
([34])د. خالد ممدوح ابراهيم، المرجع السابق، ص135.
([35])“الشخص الالكتروني هو مصطلح تم اقتراحه لأول مرة من قبل لجنة الشؤون القانونية بالبرلمان الاوربي في مسودة تقرير حول قواعد القانون المدني بشأن الروبوتات بتاريخ 31 مايو 2016 ويستخدم هذا المصطلح لوصف الوضع القانوني المحتمل لأكثر الاشخاص تعقيداً من الناحية التكنولوجية وهو الروبوتات المستقلة، بحيث يكون لها حقوق والتزامات محددة، بما في ذلك اصلاح اي ضرر قد تسببه”
European Parliament، Committee on Legal Affairs، DRAFT REPORT with recommendation to the Commission on civil Law Rules on Robotics، 2016، p6
المصادر:
1- د خالد ممدوح ابراهيم، التنظيم القانوني للذكاء الاصطناعي، دار الفكر الجامعي، الإسكندرية، 2022.
2- محمد ربيع انور فتح الباب، الطبيعة القانونية للمسؤولية المدنية عن اضرار الروبوتات “دراسة تحليلية، مجلة البحوث القانونية والاقتصادية، عدد خاص، 2021.
3- د. مها رمضان محمد بطيخ، المسؤولية المدنية عن اضرار الذكاء الاصطناعي، المجلة القانونية.
4- د. حسن محمد عمر الحمروي، اساس المسؤولية المدنية عن الروبوتات بين القواعد التقليدية والاتجاه الحديث، مجلة كلية الشريعة والقانون، ج4، العدد23، 2021.
5- ايناس مكي عبد نصار، الثغرات القانونية في المسئولية المدنية الناشئة عن اضرار الاجهزة الالكترونية “دراسة مقارنة”، مجلة القانون للدراسات والبحوث القانونية، عدد22، 2021.
6- د. عبد الله سعيد عبدالله الوالي، المسؤولية المدنية عن اضرار تطبيقات الذكاء الاصطناعي في القانون الاماراتي، ط1، دار النهضة العربية، مصر، 2021
7- كريستيان يوسف، المسؤولية المدنية عن فعل الذكاء الاصطناعي، رسالة مقدمة لجامعة اللبنانية كلية الحقوق والعلوم السياسية، لبنان 2020.
8- رجب كريم عبد اللاه، المدخل للعلوم القانونية، نظرية الحق، الجزء الثاني، دون طبعة، دار الكتب المصرية، مصر، 2016.
9- د. احمد علي حسن عثمان، انعكاسات الذكاء الاصطناعي على القانون المدني “دراسة مقارنة”، مجلة البحوث القانونية والاقتصادية، مجلد 76، 2021..
10- شريف محمد غنام، دور الوكيل الالكتروني في التجارة الالكترونية، دراسة في ضوء احكام اتفاقية الامم المتحدة المتعلقة باستخدام الخطابات الالكترونية في العقود الدولية 2005، بحث منشور في مجلة كلية الحقوق للبحوث القانونية الاقتصادية، محكمة، دون مجلد، ع2، جامعة الاسكندرية، مصر، 2010.
11- عبد الرزاق محمد وهبة سيد احمد، المسؤولية المدنية عن اضرار الذكاء الاصطناعي، مجلة جيل الابحاث القانونية المعمقة، العدد43، 2020.
12- د. محمد عبد اللطيف، المسؤولية عن الذكاء الاصطناعي بين القانون الخاص والقانون العام، بحث مقدم الى مؤتمر الجوانب القانونية والاقتصادية للذكاء الاصطناعي وتكنولوجيا المعلومات، جامعة المنصورة، 23_24مايو2021.
13- د. محمد عرفان الخطيب، المسؤولية المدنية والذكاء الاصطناعي، مجلة كلية القانون الكويتية العالمية، السنة الثامنة، العدد1، 2020.
14- د. مجدي حسن خليل، د. الشهابي ابراهيم الشرقاوي، المدخل لدراسة القانون (نظرية القانون ونظرية الحق)، النهضة العلمية للنشر والتوزيع، الاردن، 2013، ص 307، ينظر ايضا د. موسى رزيق، مدخل الى دراسة القانون، مطبوعات الجامعية جامعة الشارقة، الشارقة، 2006.
15- Alain Bensoussan, Droids robotsiscience_Fiction Ou anticipation?, p 30 Juliet 2015. n28
16- European Parliament، Committee on Legal Affairs، DRAFT REPORT with recommendation to the Commission on civil Law Rules on Robotics، 2016، p6، p1640
