人工智能（AI）技术正日益深入地融入印尼各行各业的业务运营中，包括金融服务、数字商务、物流和人力资源管理。各类组织正在部署自动化系统来筛选申请人、评估信用度、检测欺诈行为并大规模生成运营决策。
尽管这些技术带来了显著的效率和创新优势，但它们的采用也引入了一类日益增长的法律风险。当人工智能系统产生不正确、有偏见或有害的结果时，其后果可能包括财务损失、合同纠纷、监管执法和声誉损害。
印尼尚未颁布专门针对人工智能的综合性法规。然而，这一监管空白不应被解读为不存在法律责任。由金融服务管理局（OJK）和印度尼西亚共和国通信与数字事务部（KEMKOMDIGI）等监管机构执行的现有法律框架，已经为运营数字系统和处理数据的企业确立了义务。
随着各组织日益依赖自动化技术进行决策，法律责任的问题正变得愈发紧迫并具有重大的商业意义。
1.自动化决策：当系统脱离情境做出决定时
人工智能系统的一个决定性特征是它们依赖于自动化决策过程。这些系统根据数据中识别出的模式，使用预定义的模型和算法逻辑生成输出。
然而，自动化系统本身并不理解情境、意图、公平性或不断变化的环境。它们基于可获得的数据做出决策，而非依据这些决策所适用的更广泛背景。
在实践中，这种局限性可能会产生法律风险。例如：
a. 自动化信用评估系统可能仅基于历史数据模式拒绝一项申请；
b. 欺诈检测算法可能阻止合法交易；
c. 招聘工具可能无意中产生歧视性结果。
当此类决策造成损害时，印度尼西亚法律通常将责任归于部署该系统的组织。决策由人工智能生成这一事实，并不能免除组织进行监督并确保遵守适用法律标准的义务。
随着对自动化的依赖日益增加，如果企业的治理机制并非旨在监控和审查自动化输出，它们可能面临越来越大的风险敞口。
2. 印尼现行法律已确立责任风险敞口
即使没有专门的人工智能立法，印尼的几项现行法律也为自动化系统造成损害时的责任追究提供了明确依据。相关法律框架包括：
a. 《印度尼西亚民法典》，该法典规定了造成损失或损害的不法行为的责任；
b. 经修订的关于电子信息和交易的 2008 年第 11 号法律，该法规范了电子系统和数字平台；
c. 关于个人数据保护的 2022 年第 27 号法律，该法管辖个人数据的处理和保护；
d. 关于消费者保护的 1999 年第 8 号法律，该法要求企业确保产品和服务的安全性和可靠性。
这些法律共同确立了一致的原则：技术并不会将责任从运营该技术的企业身上转移开。部署人工智能系统的组织仍需负责确保其运营不会给客户、员工或业务伙伴带来可避免的风险。
3. 人工智能部署中责任范围的扩大
在人工智能事件中，一个实际挑战是当损害发生时确定由谁承担责任。责任可能延伸到涉及系统设计、实施和运营的多个参与方。可能负责的利益相关者包括：
a. 开发者（如果系统设计或编码错误造成了运营风险）；
b. 技术供应商（如果软件或基础设施未能按预期运行）；
c. 业务运营者（如果在没有充分监督或风险管理控制的情况下部署系统）；
d. 服务提供商（如果与系统可靠性或数据保护相关的合同义务未得到履行）。
在许多情况下，责任的确定取决于对系统的控制程度以及预防损害的能力。因此，部署人工智能技术的组织仍需负责确保实施和维护适当的保障措施。
4. 监管关注度正在提升，企业应做好准备
印度尼西亚和全球的监管机构越来越重视自动化技术和数字决策系统的治理。这一趋势反映出人们日益意识到人工智能的潜在风险，尤其是在涉及消费者服务和金融交易的行业。
随着监管期望的演变，严重依赖自动化的组织可能在以下方面面临更严格的审查：
a. 自动化决策的透明度；
b. 系统输出的可问责性；
c. 消费者和个人数据的保护；
d. 数字系统的可靠性和安全性。
从风险管理的角度来看，问题已不再是人工智能是否会受到更严格的监管，而是执法期望将以多快的速度发展。
人工智能正在迅速改变组织的运营方式，但自动化决策的法律后果正变得越来越明显。那些在缺乏清晰治理框架的情况下部署人工智能系统的企业，可能会随着监管期望的持续演变而面临重大的法律风险敞口。
在本次系列文章的第 2 部分中，我们将探讨人工智能部署引发的其他法律风险，包括知识产权所有权、跨境数据治理以及针对在印度尼西亚运营的组织的实际合规考量。
审德律所如何提供帮助