Dari ide AI menjadi solusi yang terkelola
Bagaimana permintaan akan asisten AI menjadi solusi yang tercakup, terkelola, dan dapat diuji sebelum model apa pun dipilih.
IntisariPutuskan apa yang harus ditolak asisten, dan siapa yang memiliki setiap kegagalan, sebelum memutuskan apa yang bisa dijawabnya.
Desain referensi ilustratif. Menunjukkan cara saya mendekati jenis masalah ini, dan bukan catatan proyek yang pernah dikerjakan.
Masalah dan batasan
Masalah
Permintaannya berupa kemampuan ("tanya data kita"), bukan kebutuhan. Cakupan melebar, tidak ada yang memiliki cacat, dan tak seorang pun bisa menjelaskan seperti apa "baik" itu.
Batasan
- Jangan pernah memperluas hak akses pengguna.
- Angka berasal dari data yang terkelola, bukan dari ingatan model.
- Setiap permintaan, termasuk yang ditolak, dapat diaudit.
- Target latensi berbeda menurut jenis pertanyaan.
Opsi yang dipertimbangkan
- Tidak dipilih
Asisten terbuka di atas seluruh data
Demo tercepat, tetapi masalah hak akses, akurasi, dan kepemilikan baru muncul setelah peluncuran.
- Tidak dipilih
Hanya dasbor dan laporan tetap
Dapat diprediksi dan mudah dikelola, tetapi pertanyaan baru tetap tak terjawab.
- Dipilih
Asisten bergerbang di atas lapisan data terkurasi yang sadar hak akses
Awalnya lebih sempit, dengan setiap kegagalan bernama dan dapat diuji.
Arsitektur
Perlakukan asisten sebagai alur kerja yang terkelola, bukan jendela obrolan. Setiap permintaan diklasifikasi, diperiksa terhadap hak akses dan ketersediaan data, dijawab hanya dari lapisan data terkurasi, lalu dicatat.
Pilih komponen mana pun untuk melihat fungsinya dan bagaimana ia terhubung. Diagram ini ilustratif: menunjukkan bentuk sebuah solusi, bukan sistem tertentu.
Arsitektur referensi ilustratif
Permintaan
Putuskan
Ambil
Jawab
Amati
Pilih sebuah komponen
Pilih blok mana pun untuk membaca fungsinya dan bagaimana ia terhubung dengan yang lain.
- Permintaan pengguna
- Pertanyaan bahasa alami dari pengguna yang sudah masuk dengan peran yang diketahui.
- Gerbang keputusan
- Memeriksa maksud, ambiguitas, hak akses, dan ketersediaan data. Gerbang yang gagal mengembalikan pesan yang spesifik dan dapat dijelaskan.
- Lapisan data terkelola
- Data terkurasi bersifat baca-saja dengan aturan akses tingkat baris dan kolom diterapkan sebelum hasil apa pun dikembalikan.
- Orkestrasi dan model
- Menyusun kueri, memanggil model untuk perumusan atau penalaran, lalu merakit jawaban beserta sumbernya.
- Audit dan evaluasi
- Setiap permintaan, penolakan, dan jawaban dicatat; set evaluasi tetap mengukur kualitas dari waktu ke waktu.
Keputusan dan trade-off
Lewatkan setiap permintaan melalui gerbang eksplisit sebelum pemanggilan model apa pun.
Trade-offGerbang menambah upaya desain dan sedikit latensi, tetapi mengubah kegagalan yang samar menjadi kegagalan bernama yang dapat diuji.
Beri asisten akses baca-saja yang sadar hak akses ke data terkurasi.
Trade-offSebagian pertanyaan memang tak bisa dijawab. Kontrol akses tetap berada di lapisan data, bukan di prompt.
Bagi kepemilikan: antarmuka memiliki pengalaman pengguna, platform memiliki perilaku model.
Trade-offDua pemilik perlu kosakata kesalahan bersama, dan cacat berhenti dilempar antartim.
Cara pengerjaannya
Rumuskan
Gambarkan keputusan tiap kelompok pengguna dan tulis kriteria penerimaan dalam bahasa sehari-hari.
Anggarkan
Tetapkan target latensi per jenis pertanyaan, bukan satu angka global.
Gerbangi
Tentukan tiap gerbang keputusan dan apa yang dilihat pengguna saat gerbang menghentikan permintaan.
Pilih
Pilih pendekatan orkestrasi berdasarkan kendali, kemudahan perawatan, dan keterampilan tim.
Uji
Sepakati set evaluasi dan kolom audit sebelum build pertama.
Pelajaran dan langkah berikutnya
Status saat iniDesain referensi ilustratif. Belum diimplementasikan seperti yang dijelaskan.
Pelajaran: fitur yang terdengar kecil, seperti pertanyaan "bagaimana jika", sering menyembunyikan keputusan cakupan terbesar. Namai, lalu terima atau tolak dengan sengaja.
Langkah berikutnya
- Tulis set evaluasi pertama dari pertanyaan pengguna yang nyata dan sepakati ambang lulusnya.
- Buat prototipe gerbang keputusan dengan beberapa permintaan representatif.
- Tentukan kolom audit dan aturan retensi bersama orang yang akan meninjaunya.
Karya terkait
Mari kita bahas
Jika masalah seperti ini terdengar akrab, saya ingin mendengar bagaimana ia muncul di tempat Anda.