NeRF คืออะไร

นิวรัล เรเดียนซ์ ฟิลด์ (NeRF) เป็นนิวรัลเน็ตเวิร์กที่สามารถสร้างฉากสามมิติที่ซับซ้อนขึ้นใหม่จากชุดภาพสองมิติบางส่วน ภาพสามมิติจำเป็นในการจำลอง การเล่นเกม สื่อ และแอปพลิเคชัน Internet of Things (IoT) ต่าง ๆ เพื่อให้การโต้ตอบแบบดิจิทัลมีความสมจริงและแม่นยำยิ่งขึ้น NeRF เรียนรู้รูปทรงเรขาคณิตของฉาก วัตถุ และมุมต่าง ๆ ของฉากใดฉากหนึ่ง จากนั้นจะแสดงมุมมองสามมิติที่สมจริงจากมุมมองใหม่และสร้างข้อมูลสังเคราะห์ขึ้นอัตโนมัติเพื่อเติมเต็มช่องว่าง

อ่านเกี่ยวกับนิวรัลเน็ตเวิร์ก

อ่านข้อมูลเกี่ยวกับ IoT

กรณีการใช้งาน Neural Radiance Fields มีอะไรบ้าง

NeRF สามารถประมวลผลฉากที่ซับซ้อนและสร้างภาพสำหรับกรณีการใช้งานต่างๆ

คอมพิวเตอร์กราฟิกและภาพเคลื่อนไหว

ในแขนงคอมพิวเตอร์กราฟิก คุณสามารถใช้ NeRF เพื่อสร้างเอฟเฟกต์ภาพ การจำลอง และฉากที่สมจริง NeRF จะจับภาพ ประมวลผล และแสดงภาพสภาพแวดล้อม ตัวละคร และงานภาพอื่นๆ ที่เหมือนจริง ผู้คนมักใช้ NeRF ใช้เพื่อปรับปรุงกราฟิกของวิดีโอเกมและภาพเคลื่อนไหวของภาพยนตร์แบบ VX

การสร้างภาพทางการแพทย์

NeRF จะช่วยอำนวยความสะดวกในการสร้างโครงสร้างทางกายวิภาคที่ครอบคลุมจากการสแกนแบบ 2 มิติ เช่น MRI เทคโนโลยีนี้สามารถสร้างภาพแสดงของเนื้อเยื่อและอวัยวะในร่างกายที่สมจริงได้ ช่วยให้แพทย์และนักเทคนิคการแพทย์ได้ข้อมูลบริบทเชิงภาพที่มีประโยชน์ 

ความจริงเสมือน

NeRF เป็นเทคโนโลยีสำคัญในการจำลองความเป็นจริงเสมือนและการจำลองความเป็นจริงเสริม เนื่องจากเทคโนโลยีนี้สามารถสร้างแบบจำลองฉาก 3 มิติได้อย่างแม่นยำ เทคโนโลยีนี้จึงช่วยอำนวยความสะดวกในการสร้างและสำรวจสภาพแวดล้อมเสมือนที่สมจริง NeRF สามารถแสดงข้อมูลภาพใหม่ หรือแม้แต่ประมวลผลวัตถุเสมือนบนพื้นที่จริง โดยขึ้นอยู่กับทิศทางมุมมองของคุณ

ภาพดาวเทียมและการวางแผน

ภาพดาวเทียมให้ภาพที่หลากหลาย ซึ่ง NeRF สามารถใช้สร้างแบบจำลองพื้นผิวโลกแบบครอบคลุมได้ เทคโนโลยีนี้มีประโยชน์ในกรณีการใช้งานเพื่อจับภาพความเป็นจริง (RC) ที่จำเป็นต้องแปลงสภาพแวดล้อมในโลกแห่งความเป็นจริงให้เป็นแบบดิจิทัล ซึ่งคุณสามารถแปลงข้อมูลตำแหน่งเชิงพื้นที่ให้เป็นแบบจำลอง 3 มิติที่มีความละเอียดสูงได้ ยกตัวอย่างเช่น การสร้างภาพถ่ายทางอากาศขึ้นใหม่ให้เป็นภาพแสดงภูมิทัศน์ ซึ่งมักใช้ในการวางผังเมือง เนื่องจากเป็นเครื่องอ้างอิงเค้าโครงในความเป็นจริงของพื้นที่ที่มีประโยชน์อย่างมาก 

ภาพต่อไปนี้เป็นตัวอย่างของแบบจำลองอาคาร 3 มิติ

 

Neural Radiance Fields ทำงานอย่างไร

ภาพ 3 มิติที่ประมวลผลด้วยคอมพิวเตอร์ซึ่งสร้างขึ้นด้วยเทคนิคกราฟิกดิจิทัลต่างๆ มีคุณสมบัติที่แตกต่างกันหลายประการ ซึ่งเป็นตัวกำหนดคุณภาพและความสมจริง ตัวอย่างเช่น

  • ด้านเรขาคณิต เช่น การจัดวางตำแหน่ง การจัดแนว และปรับขนาดของแบบจำลอง 3 มิติในฉาก
  • ด้านแสง เช่น เงา ความ สว่าง สี และการสะท้อนแสง 
  • ความโปร่งใสและความโปร่งแสงซึ่งแสดงให้เห็นวิธีการที่แสงลอดผ่านวัสดุเอย่างช่นกระจกหรือหมอก
  • ปริมาตรและความหนาแน่น เช่น ความหนาแน่นของควันหรือเมฆ
  • พื้นผิวที่จำลองวัสดุเช่น ผ้า ไม้ หรือโลหะ

การเลือกสีและการกระจายสียังมีส่วนสำคัญในด้านความตระการตาของภาพ เชดิงเป็นตัวกำหนดลักษณะการสะท้อนแสงของพื้นที่ผิวแบบต่างๆ ซึ่งช่วยสร้างสัมผัสของความลึกและรูปแบบ

NeRF ได้รวมเทคนิคกราฟิกคอมพิวเตอร์เข้ากับสถาปัตยกรรมแบบนิวรัลเน็ตเวิร์กเพื่อจัดการกับทุกแง่มุมที่กล่าวไปก่อนหน้า 

ภาพต่อไปนี้เป็นตัวอย่างภาพ 3 มิติที่ประมวลผลโดยคอมพิวเตอร์

สถาปัตยกรรม Neural Radiance Fields

NeRF ใช้องค์ประกอบทางนิวรัลที่เรียกว่า Multilayer Perceptron (MLP) ซึ่งเป็นสถาปัตยกรรมแบบนิวรัลเน็ตเวิร์กที่มีการเชื่อมต่อกันอย่างสมบูรณ์เพื่อสร้างการแสดงฉากแบบ 3 มิติ MLP เป็นแบบจำลองพื้นฐานในนิวรัลเน็ตเวิร์กและดีปเลิร์นนิง ซึ่งได้รับการฝึกให้ทำการแมปพิกัดเชิงพื้นที่และทิศทางมุมมองกับสีและค่าความหนาแน่น MLP ใช้ชุดโครงสร้างทางคณิตศาสตร์เพื่อจัดระเบียบอินพุต เช่น ตำแหน่งในพื้นที่ 3 มิติหรือทิศทางมุมมอง 2 มิติ เพื่อกำหนดค่าสีและความหนาแน่นของแต่ละจุดในภาพ 3 มิติ 

อีกทั้งเครือข่ายยังเรียนรู้วิธีเปลี่ยนความสว่างและสีของรังสีแสงในฉากด้วย ด้วยการพัฒนาความรู้ความเข้าใจเกี่ยวกับรังสีดังกล่าว หรือที่รู้จักกันในชื่อ Radiance Modeling (การทำแบบจำลองรัศมีแสง) ทำให้ระบบสามารถแสดงสีและความหนาแน่นที่แตกต่างกันจากมุมมองที่แตกต่างกันได้ 

อ่านเกี่ยวกับดีปเลิร์นนิง

ประเภทของ Neural Radiance Fields

NeRF รุ่นแรกๆ นั้นเพิ่มประสิทธิภาพได้ยากและทำงานช้า และต้องใช้อินพุตจากภาพถ่ายเพื่อจับคู่แสงเงาโดยใช้รังสีแสงบนหน้ากล้องเดียวกัน ตั้งแต่นั้นมา ก็ได้มีการปรับปรุงหลายรูปแบบในเทคโนโลยีตั้งต้น

PixelNeRF

หนึ่งในรูปแบบใหม่ของ NeRF ที่เก่าที่สุดคือ PixelNeRF (CPVR 2021) การนำไปใช้จริงนี้ได้นำเสนอสถาปัตยกรรมแบบบูรณาการเต็มรูปแบบที่สามารถกำหนดเงื่อนไขในอินพุตภาพภาพเดียวได้ วิธีการนี้ช่วยขจัดความจำเป็นที่ต้องใช้มุมกล้องจำนวนมากที่ต้องปรับเทียบและจัดระเบียบ และลดจำนวนทรัพยากรการคำนวณทั้งหมดที่ต้องใช้ แนวทางใหม่นี้ทำให้กระบวนการสร้างและเพิ่มประสิทธิภาพ NeRF ราบรื่นยิ่งขึ้น

Mega-NeRD

Mega-NeRD (CVPR 2022) เป็นอีกเฟรมเวิร์กของ NeRF ที่มีประโยชน์อย่างยิ่งเมื่อทำงานกับฉากที่มีขนาดใหญ่ ระบบมีอัลกอริทึมทางเลือกสำหรับทำคลัสเตอร์ทางเรขาคณิตและโครงสร้างเครือข่ายแบบกระจายซึ่งช่วยให้สามารถประมวลผลภาพที่มีสภาพแสงหลากหลายได้ NeRF ที่ได้รับการปรับให้เหมาะสมนี้ใช้ตาราง Neural Radiance แบบกระจาย (SNeRG) เพื่อจับภาพและประมวลผลสภาพแวดล้อมในโลกแห่งความเป็นจริงได้อย่างมีประสิทธิภาพ

NSVF

Neural Sparse Voxel Fields (NSVF) เป็น NeRF ที่สามารถข้ามพิกเซลว่างระหว่างขั้นการประมวลผล ซึ่งช่วยเพิ่มความเร็วในการประมวลผล เทคนิคนี้จะเรียนรู้โครงสร้างพิกเซลในเซลล์เครือข่าย ทำให้สามารถสร้างภาพคุณภาพสูงโดยไม่ต้องมีมุมมองเฉพาะเจาะจง

Plenoptic voxel

แทนที่จะใช้นิวรัลเน็ตเวิร์กแบบ Multilayer Perceptron นวัตกรรม Plenoptic Voxel (2021) จะใช้ตาราง 3 มิติแบบกระจายแทน คุณสามารถเพิ่มความเร็วในการประมวลผลแบบจำลองใหม่พร้อมกับรักษาความเที่ยงตรงของภาพผ่านการแก้ไข Voxel ด้วยตารางนี้

Neural Radiance Fields ประมวลผลภาพอย่างไร

การประมวลผลภาพแบบนิวรัลเป็นคำที่ใช้หมายถึงกระบวนการสร้างภาพด้วย NeRF NeRF จะใช้เทคนิคต่างๆ เพื่อแปลงข้อมูลดิบให้เป็นสิ่งแสดงแทน 3 มิติแบบมีรายละเอียด

การประมวลผลกราฟิก

เทคนิคการประมวลผลภาพจากแขนงคอมพิวเตอร์กราฟิกช่วยให้แบบจำลอง NeRF ฉายและจัดการฉากต่างๆ เป็นรูปทรงเรขาคณิตได้ ตัวอย่างเช่น

  • Ray Casting จะจำลองมุมมองของผู้ใช้เพื่อคำนวณความมองเห็นได้ของวัตถุ 
  • และ Ray Tracing ขยายแนวคิดนี้โดยจำลองพฤติกรรมทางกายภาพของแสง ซึ่งรวมถึงการสะท้อน การหักเหของแสง และเงา
  • การแรสเตอร์ไรเซชันเป็นการแปลงข้อมูลเวกเตอร์ 3 มิติให้เป็นพิกเซลบนหน้าจอ 2 มิติ โดยใช้อัลกอริทึมต่างๆ เพื่อจำลองเอฟเฟกต์แสงและพื้นผิวอย่างมีประสิทธิภาพ

การประมวลผลปริมาตร

การประมวลผลปริมาตรเป็นอีกหนึ่งกลยุทธ์ที่สำคัญ อัลกอริทึมจะกำหนดค่าสีแดง สีเขียว สีน้ำเงิน และอัลฟา (ความหนาแน่นของปริมาตร) สำหรับแต่ละพิกเซลในพื้นที่ 3 มิติ หรือภาพ ค่าเหล่านี้จะเชื่อมโยงกับตำแหน่งที่สัมพันธ์กันในภาพ 2 มิติ

อีกเทคนิคหนึ่งคือการสังเคราะห์มุมมอง ซึ่งทำงานผกผันกับการแสดงประมวลผลปริมาตร เทคนิคนี้จะสร้างมุมมองแบบ 3 มิติจากชุดของภาพ 2 มิติ การสังเคราะห์มุมมองจะสร้างเลย์เอาต์แบบครึ่งทรงกลมซึ่งแสดงแทนวัตถุโดยใช้ชุดภาพที่ถ่ายจากมุมต่างๆ กระบวนการนี้จะจัดภาพ 2 มิติ แต่ละภาพให้เข้ากันกับตำแหน่งต่างๆรอบวัตถุ เป็นการสร้างภาพขึ้นใหม่ในแบบ 3 มิติ

AWS สามารถรองรับข้อกำหนดด้าน Neural Radiance Field ของคุณได้อย่างไรบ้าง

Amazon Web Services (AWS) นำเสนอบริการมากมายเพื่อรองรับข้อกำหนดของ NeRF ของคุณ

AWS RoboMaker เป็นบริการจำลองบนระบบคลาวด์ที่คุณสามารถใช้เพื่อเรียกใช้ ปรับขนาด และจำลองอัตโนมัติโดยไม่ต้องจัดการโครงสร้างพื้นฐาน AWS RoboMaker ทำให้สภาพแวดล้อมการจำลองการสร้างรวดเร็วขึ้นและประหยัดมากขึ้นโดยมอบโลกจำลองและสินทรัพย์ 3 มิติต่าง ๆ มากมาย คุณสามารถใช้สินทรัพย์การจำลองเหล่านี้เพื่อสร้างสภาพแวดล้อมการจำลองเพื่อให้ตรงกับระดับความเที่ยงตรงที่ต้องการ ด้วย AWS RoboMaker WorldForge คุณจะสามารถสร้างโลกจำลองที่อยู่อาศัยภายในเป็นแบบ 3 มิติที่หลากหลายและกำหนดโดยผู้ใช้ได้หลายร้อยรายการภายในไม่กี่นาที

AWS IoT TwinMaker เป็นบริการที่สร้าง Digital Twin ของระบบในโลกแห่งความเป็นจริง เช่น อาคาร โรงงาน อุปกรณ์อุตสาหกรรม และสายการผลิต โดยมอบความสามารถในด้านการใช้ข้อมูลที่มีอยู่จากหลายแหล่ง สร้างการนำเสนอเสมือนจริงของสภาพแวดล้อมทางกายภาพ และรวมโมเดล 3 มิติที่มีอยู่เข้ากับข้อมูลในโลกแห่งความเป็นจริง เมื่อใช้ AWS IoT TwinMaker คุณจะสามารถควบคุม Digital Twins เพื่อสร้างมุมมององค์รวมของการดำเนินงานของคุณได้เร็วขึ้นและจะประหยัดแรงได้ยิ่งขึ้น

เริ่มต้นใช้งาน Neural Radiance Field บน AWS ด้วยการสร้างบัญชีวันนี้

ขั้นตอนถัดไปบน AWS

ดูแหล่งข้อมูลเพิ่มเติมเกี่ยวกับผลิตภัณฑ์
สร้างสรรค์นวัตกรรมได้เร็วขึ้นด้วยบริการ AI ช่วยสร้างของ AWS 
ลงชื่อสมัครใช้บัญชีฟรี

รับสิทธิ์การเข้าถึง AWS Free Tier ได้ทันที

ลงชื่อสมัครใช้งาน 
เริ่มต้นการสร้างในคอนโซล

เริ่มต้นสร้างในคอนโซลการจัดการของ AWS

ลงชื่อเข้าใช้