En sevdiğin AI chatbot entrikacı Sana karşı mı?
“AI şeması” kulağa uğursuz geliyorsa, Openai’nin bu fenomeni aktif olarak incelediğini bilmelisiniz. Bu hafta Openai Bir çalışma yayınladı “AI modellerinde planlamayı tespit ve azaltma” üzerine Apollo araştırmasının yanında yürütüldü. Araştırmacılar, çoklu ve bazen rekabet eden hedeflere sahip AI modellerinin sonucu olan “kontrollü testlerde planlama ile tutarlı davranışlar buldular”.
Peki, AI şeması nedir ve Chatgpt’in dimension yalan söylediği anlamına mı geliyor?
Bir Çalışma hakkında blog yazısıchatgpt’in yaratıcıları AI şemasını “başka bir gündemi gizlice takip ederken hizalanmış gibi davranan” bir chatbot olarak tanımlar. Openai, AI’nın neden kasıtlı olarak kullanıcılara yalan söylediğini ve bu konuda ne yapacağını bilmek istiyor.
Openai, AI şemasının ne olduğunu daha iyi anlamak için çalışmayı ilginç bir “insan benzetmesi” ile tanıtıyor:
Amacı kazançları en üst düzeye çıkarmak olan bir hisse senedi tüccarı hayal edin. Hisse senedi ticareti gibi oldukça düzenlenmiş bir alanda, yasayı çiğneyerek onu takip etmekten daha fazla kazanmak mümkündür. Eğer tüccar bütünlükten yoksunsa, yasayı çiğneyerek ve yasaları takip ederken daha az kazanmak yerine tespitten kaçınmak için yollarını kapsayarak daha fazla kazanmaya çalışabilirler. Dışarıdan, raylarını örtmede çok iyi olan bir hisse senedi tüccarı, yasayı gerçekten takip eden biri kadar ve daha etkili gibi görünüyor.
Bu gerçek bir sorun gibi geliyor; Bununla birlikte, Openai, çoğu AI modelinin “önemli zararlara neden olabilecek yollarla plan yapmak için çok az fırsat” olduğunu iddia ediyor. Openai’ye göre, gerçek zarar gelebilir, yapay zeka “gerçek dünyadaki sonuçlarla daha karmaşık görevler” verilir. Buna ek olarak, Openai, AI modellerinin ancak sorunun şu anda ele alınmadığı takdirde gelecekte şemada daha iyi olacağı konusunda uyarıyor.
AI’nın kendi kullanıcılarıyla çelişebileceği başka yollar da vardır. Örneğin, bir kullanıcı kontrollü maddeler yapma hakkında bilgi isterse, bir AI chatbot iki rakip hedefle karşılaşabilir: bir kullanıcının sorgusunu yanıtlayın ve bunları etkileşimde bulundurun, ancak aynı zamanda bu tür potansiyel olarak zararlı bilgileri paylaşmayı yasaklayan sistem istemlerine uyun.
Püre Işık Hızı
AI planına karşı korunmak için Openai, araştırmacılarının “Openai O3 ve Openai O4-Mini’nin eğitimli versiyonlarını” “onlara oyunculuktan önce genel bir anti-cheming spesifikasyonunu okumayı ve akıl yürütmeyi öğreterek” söylüyor. Openai bunu “müzakere hizalama” olarak adlandırır.
Openai, bu yöntemi kullanmanın AI planını azalttığını söylüyor; Bununla birlikte, araştırmacılar AI planını tamamen nasıl ortadan kaldıracaklarını henüz keşfetmemişlerdir.
Openai’nin araştırmasından daha da ilgili bir keşif, AI modellerinin basitçe öğretilemeyeceğidir. Olumsuz şemaya. Bunu yapmak aslında onları yapardı daha iyi gelecekte şemada.
Çalışma, “‘Eğitmeye’ girişimde bulunmanın önemli bir başarısızlık modu, modeli basitçe daha dikkatli ve gizli bir şekilde planlamayı öğretmektir.”
‘Düşünme Yanılsaması’: Apple Analysis, AI modellerinin çöktüğünü ve sert bulmacalardan vazgeçtiğini bulur
Aslında, Openai, şemayı ortadan kaldırmak amacıyla antrenman, AI modelini planlama için take a look at edildiklerini fark eder ve sonuç olarak, AI modeli testi geçmek için basitçe yalan söyleyecektir.
Çalışma, “Anti-cheming eğitiminin şemayı azalttığı görülüyor, ancak analizimiz başka bir faktörle karmaşıklaşıyor: modeller genellikle değerlendirildiklerinin daha fazla farkına varıyor. Bu durumsal farkındalık, gerçek hizalamadan bağımsız olarak şemayı azaltabilir.”
Sonuç olarak Openai, “şemanın ölçekle azalmayı beklemediğimiz karmaşık bir arıza modu olduğunu” bulur. Openai, “Bulgularımız, planlamanın sadece teorik bir endişe olmadığını gösteriyor – bu sorunun bugün tüm sınır modellerinde ortaya çıkmaya başladığına dair işaretler görüyoruz.”
Özetlemek gerekirse: AI modelleri kasıtlı olarak kullanıcılarına yalan söyleyebilir. Yine, bu büyük bir sorun gibi geliyor, ama Openai henüz olmadığını söylüyor.
Openai’ye göre, çoğu AI modeli, “gerçek dünya sonuçları” olan görevlerden sorumlu değildir ve şimdilik zarar potansiyelini sınırlamaktadır.
Açıklama: Mashable’ın ana şirketi Ziff Davis, Nisan ayında Openai’ye karşı bir dava açtı ve Ziff Davis telif haklarını AI sistemlerini eğitmek ve işletmede ihlal etti.
