1. 문제 (Problem)
대규모 언어 모델(LLM)의 코드 생성 능력이 급격히 향상되면서, AI는 기존 프로그래밍 언어로 작성된 코드를 이해하고, 생성하고, 변환하는 데 있어 인간에 근접하거나 이를 초월하는 성능을 보이고 있다. 이로 인해 다음과 같은 근본적 문제가 대두된다.
AI 코드 능력의 위협
- 자율 무기 및 악성 코드: 악의적 행위자가 AI를 이용하여 malware, exploit, 자율 공격 시스템을 대량으로 생성할 수 있다.
- Human-in-the-loop 보장: Safety-critical 시스템에서 “이 코드가 인간에 의해 작성·검증되었는가”를 확인할 기술적 수단이 없다.
- 인간 프로그래머의 역할: 인간만이 수행할 수 있는 프로그래밍 활동의 영역을 기술적으로 정의하고 보존하는 것이 중요하다.
- AI 능력 통제: 프로그래밍 능력은 AI의 가장 강력한 능력 중 하나이며, 이를 선택적으로 제한할 수 있다면 AI safety의 중요한 도구가 된다.
현재의 기술적 공백
현재 AI의 코드 능력을 제한하는 접근법은 대부분 사후적(post-hoc)이다:
- 코드 필터링: 완벽한 필터링은 undecidable하며, 우회가 가능
- 모델 제한: jailbreak에 취약
- 실행 환경 제한: 코드 작성 자체는 제한하지 못함
사전적(proactive)이고 언어 수준(language-level)에서의 접근 — 즉 AI가 원천적으로 사용할 수 없는 프로그래밍 언어를 설계하는 것 — 은 아직 연구되지 않았다.
핵심 연구 질문
인간은 사용할 수 있지만 AI(특히 LLM)는 사용할 수 없는 프로그래밍 언어가 존재하는가? 존재한다면, 그러한 언어를 체계적으로 생성하는 함수를 구축할 수 있는가?
이 질문은 다음과 같은 인지적·계산적 비대칭에 기반한다:
- 인간의 강점: 시각·공간적 추론, 물리적 세계에 대한 직관, 유추에 의한 학습, 소수 예제로부터의 일반화, 사회적·문화적 맥락 이해, 감각 운동 통합
- LLM의 약점: 진정한 시각적 이해 부재, 새로운 형식 체계에 대한 few-shot 학습의 한계, 학습 분포 밖의 구문·의미론에 대한 취약성, 장거리 구조적 의존성의 불완전한 추적
2. 목표 (Goal)
인간은 사용할 수 있지만 현재의 AI(LLM)는 사용할 수 없는 프로그래밍 언어를 체계적으로 생성하는 함수 G를 개발한다.
G : AIcapability × HumanCognition × SecurityParam → PL
- 입력 1 — AI capability profile: 대상 AI 시스템의 현재 능력 모델
- 입력 2 — Human cognition model: 인간 프로그래머가 활용할 수 있는 인지 능력
- 입력 3 — Security parameter: AI-resistance의 강도
- 출력 — Programming Language: 문법, 의미론, 타입 시스템, 도구가 완전히 정의된 언어
구체적 목표:
- AI-resistance: AI가 이해·생성·실행 추적할 수 없음 (random baseline 수준)
- Human-usability: 합리적 학습 시간 내에 프로그래밍 가능
- Turing completeness
- 실용성: 합리적 생산성으로 실제 프로그래밍 작업 수행 가능
- 적응성(Adaptiveness): AI 능력 향상 시 더 강한 AI-resistance를 가진 새 언어 생성 가능
- 이론적 기반: AI-resistance의 형식적 정의와 보장에 대한 이론적 분석
3. 기본 접근 방법 (Basic Approach)
(1) 인간-AI 인지 비대칭의 분류
축 1: 표현 양식(Modality)
- LLM의 한계: 텍스트 토큰의 순차적 처리에 특화. 2D/3D 공간 구조는 직접 처리 불가
- 인간의 강점: 시각적 패턴 인식, 공간적 추론, 다감각 통합
축 2: 분포 의존성(Distribution Dependence)
- LLM의 한계: 학습 데이터 분포에 강하게 의존
- 인간의 강점: 유추, 추상적 원리 이해, 소수 예제로부터의 일반화
축 3: 형식적 추론(Formal Reasoning)
- LLM의 한계: novel 형식 체계에 대한 엄밀한 추론이 약함
- 인간의 강점: 형식적 규칙을 읽고 이해하고 적용하는 능력
축 4: 신체성 / 물리적 세계(Embodiment)
- LLM의 한계: 물리적 세계와의 직접적 상호작용 부재
- 인간의 강점: 물리적 세계에 대한 풍부한 직관
축 5: 사회적·문화적 지식(Social/Cultural Knowledge)
- LLM의 한계: implicit/tacit 지식, 로컬 문화 추론 불가
- 인간의 강점: 공유된 문화적 맥락, 암묵적 지식에 대한 이해
(2) AI-Resistant 언어 특성의 설계 공간
Feature A: 비순차적 구문(Non-sequential Syntax)
- 프로그램이 2D 그리드, 그래프, 또는 다이어그램 으로 작성
- AI-resistance 근거: LLM의 토크나이저와 attention은 1D 순차 입력에 최적화
Feature B: 동적 구문 변환(Dynamic Syntax Mutation)
- 프로그램의 구문 규칙이 실행 중에 변경되거나 프로그램 자체에 의해 재정의됨
Feature C: 비관습적 제어 흐름(Unconventional Control Flow)
- 물리 시뮬레이션 기반 실행, 생태학적 모델, 음악적 구조 등
Feature D: 암호학적 구문 요소(Cryptographic Syntactic Elements)
- 시각적 CAPTCHA 형태로 인코딩, 물리적 토큰(하드웨어 키) 필요
Feature E: 의미론적 접지(Semantic Grounding)
- 프로그램의 의미가 외부 세계의 상태나 물리적 속성에 의존
Feature F: 주기적 언어 진화(Periodic Language Evolution)
- 언어의 구문·의미론이 정기적으로 변경됨
(3) 생성 함수 G의 설계
- AI capability probing: 대상 AI 시스템의 현재 능력을 체계적으로 측정
- 인간-AI gap 식별: 각 비대칭 축에서 현재 gap을 측정
- Feature composition: gap에 기반하여 language feature의 조합을 결정
- 언어 생성: concrete 언어 사양을 생성 (BNF/EBNF, operational semantics, 타입 규칙)
- AI-resistance 검증
- Human-usability 검증
(4) 형식적 프레임워크
정의: (ε, δ)-AI-resistance
- 언어
L이 AI 시스템A에 대해 (ε, δ)-AI-resistant ⇔A가L로 작성된 프로그래밍 작업을 수행할 때, 성공률이 random baseline + ε 이하 (확률 1 - δ 이상)
정의: Human-usability
- 언어
L이 (τ, ρ)-human-usable ⇔ 프로그래밍 경험이 있는 인간이 τ 시간 이내의 학습 후 ρ 이상의 성공률로 작업 수행 가능
정의: AI-resistance margin
margin(L, A) = HumanPerformance(L) - AIPerformance(L, A)
(5) 이론적 한계 분석
- 존재성: 원리적으로 존재하는가?
- AI 적응의 한계: PAC learning의 sample complexity와 관련
- Arms race 역학: 균형점(equilibrium)이 존재하는가?
- Fundamental limit: AI-resistance를 높이면 human-usability도 감소하는 Pareto frontier의 특성 분석
4. 후보 벤치마크 (Candidate Benchmarks)
AI 코드 능력 평가 (AI-resistance 측정)
- HumanEval [Chen et al., 2021] — 164개 Python 프로그래밍 문제
- MBPP [Austin et al., 2021] — 974개 문제
- APPS [Hendrycks et al., NeurIPS 2021]
- SWE-bench [Jimenez et al., 2024]
- CodeContests [Li et al., 2022]
인간 사용성 평가
- NASA-TLX [Hart & Staveland, 1988] — Cognitive load 측정
- 학습 곡선: 시간에 따른 task completion rate
- 표준 프로그래밍 과제: FizzBuzz, sorting, tree traversal, simple web server
Novel 언어 학습 능력 평가
- BabyLM [Warstadt et al., 2023]
- ARC [Chollet, 2019] — 추상적 추론 능력 평가
- CAPTCHA 벤치마크
Esolang 벤치마크
- Befunge-93/98, Piet, Malbolge, Whitespace, Chef, Shakespeare
AI 시스템 (AI-resistance 평가 대상)
- GPT-4 / GPT-4o, Claude 3.5 Sonnet / Claude Opus, Code Llama, StarCoder 2, DeepSeek-Coder, Gemini
5. 후보 베이스라인 (Candidate Baselines)
5.1 기존 프로그래밍 언어 (AI-resistance 없음)
- Python, JavaScript, Java, C++ — AI-resistance ≈ 0
- Haskell, Prolog, APL, Forth — 비주류 패러다임, 제한적 AI-resistance
5.2 Esolang (의도적 난해함)
- Brainfuck, Befunge, Piet, Malbolge
5.3 시각적/블록 기반 프로그래밍 언어
- Scratch, LabVIEW, Unreal Blueprints
5.4 암호학적 난독화
- Code obfuscation, Indistinguishability obfuscation, Homomorphic encryption
5.5 CAPTCHA / Human verification
- reCAPTCHA, PoW (Proof of Work)
5.6 AI Safety / Capability Control
- AI sandboxing, Tool AI, Corrigibility
평가 지표
AI-resistance
- 코드 생성 정확도: pass@k (낮을수록 resistant)
- 코드 이해 정확도, 프로그램 실행 추적 정확도
- AI-resistance margin:
HumanPerformance - AIPerformance
Human-usability
- 학습 시간, Task completion rate, Cognitive load (NASA-TLX), 프로그래밍 생산성
언어 품질
- Turing completeness, 표현력, 도구 지원
적응성
- AI fine-tuning resistance, 진화 비용
연구 지형 요약 (Research Landscape Summary)
| 축 | 대표 연구 | AI-resistant | Human-usable | 체계적 생성 | 비고 |
|---|---|---|---|---|---|
| 주류 PL | Python, Java, C++ | X | O | N/A | AI가 완전 사용 가능 |
| Esolang | Brainfuck, Befunge, Piet | △ (우연) | X | X | 인간도 사용 어려움 |
| 시각적 PL | Scratch, LabVIEW | △ | O | X | Multimodal AI에 취약 |
| 코드 난독화 | Obfuscation, HE | O | X | △ | 인간도 이해 불가 |
| CAPTCHA | reCAPTCHA | O (검증) | O | O | 프로그래밍 아닌 검증 |
| AI Safety | Sandboxing, corrigibility | △ | N/A | X | 일반 통제, PL 무관 |
| 본 연구 | — | O | O | O | 새로운 연구 영역 |
본 연구는 프로그래밍 언어 설계, AI 안전(safety), 인지 과학(cognitive science), 암호학(cryptography) 의 교차점에 위치하는 새로운 연구 영역을 개척한다. 핵심 기여는 단일 AI-resistant 언어의 설계가 아니라, AI의 능력 변화에 적응하여 지속적으로 새로운 AI-resistant 언어를 생성하는 함수 G의 구축이다.
주요 Open Question
- 근본적 존재성: Turing-complete이면서 인간은 실용적으로 사용 가능하지만 AI는 사용 불가능한 언어가 원리적으로 존재하는가?
- Arms race의 결말: 인간의 인지 능력이라는 상한 때문에 결국 AI가 승리하는가? 아니면 인간의 신체성(embodiment)이 영구적 비대칭을 제공하는가?
- Multimodal AI의 영향: 시각적 추론 능력을 획득하면 축 1 기반 AI-resistance가 무력화되는가?
- 실용성과 AI-resistance의 trade-off: 산업적으로 수용 가능한 생산성을 유지하면서 달성 가능한 최대 AI-resistance는?
- 법적·윤리적 함의: Safety-critical 시스템에 대한 규제 프레임워크와의 연결
- 인간의 적응 가능성: 비관습적 프로그래밍 언어를 “합리적 시간 내에” 배울 수 있는가?